音频编码

Android ApI提供了MediaRecorder和AudioRecord两个类给开发者来很方便地实现音视频的录制(前者可以实现音频和视频的录制，后者只能实 现音频的录制)。这两个类都提供了start()和stop()方法用于开始和结束音频或视频的录制，但令人费解的是这两个类都没有提供pause()方 法用于暂停录制音视频，因为在实际应用当中，暂停录制的功能是非常有必要的Android 实现能够暂停的录音功能 需实现音频录制的暂停功能，并且生成的音频文件格式必须是m4a格式 为什么项目中音频文件一定要采用m4a格式的呢？有以下几点原因： 1. 录制相同时间的音频，使用m4a格式存储的文件的大小要比使用其它格式类型存储的文件的大小要小(通过实验多次，在相同采样率16000的情况下，一般录 制5分钟的音频，采用m4a格式存储的音频文件只有1.2Mb，而采用arm、mp3及其它格式的一般都有2-5Mb)，这样当用户需要 下载 或上传录制的音频文件时，可以节省流量，并且相同压缩率的前提下，m4a格式音频的音质相比其它格式的也更高； 2.产品同时拥有Android客户端和IOS客户端，那为了避免使用Android客户端的用户录制的音频上传到服务器之后，使用IOS客户端的用户下 载下来发生无法播放的问题，我们需统一录制音频的存储格式

一、常见视频格式中采用的技术 　　当PC开始拥有FPU（浮点处理器）后，PC如何处理多媒体信息的问题也被摆上台面。无数专家开始为音频视频编码技术运用在PC上开始忙碌了，视频技术也因此得到了飞快的进步。 　　1、无声时代的FLC 　　FLC、FLI是Autodesk开发的一种视频格式，仅仅支持256色，但支持色彩抖动技术，因此在很多情况下很真彩视频区别不是很大，不支持音频信号，现在看来这种格式已经毫无用处，但在没有真彩显卡没有声卡的DOS时代确实是最好的也是唯一的选择。最重要的是，Autodesk的全系列的动画制作软件都提供了对这种格式的支持，包括著名的3D Studio X，因此这种格式代表了一个时代的视频编码水平。直到今日，仍旧有不少视频编辑软件可以读取和生成这种格式。但毕竟廉颇老矣，这种格式已经被无情的淘汰。 　　2、载歌载舞的AVI 　　AVI--Audio Video Interleave，即音频视频交叉存取格式。1992年初Microsoft公司推出了AVI技术及其应用软件VFW（Video for Windows）。在AVI文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备。这种按交替方式组织音频和视像数据的方式可使得读取视频数据流时能更有效地从存储媒介得到连续的信息。构成一个AVI文件的主要参数包括视像参数、伴音参数和压缩参数等。AVI文件用的是AVI

浅谈网络语音技术 当我们使用像Skype、QQ这样的工具和朋友流畅地进行语音视频聊天时，我们可曾想过其背后有哪些强大的技术在支撑？本文将对网络语音通话所使用到的技术做一些简单的介绍，算是管中窥豹吧。 一.概念模型 网络语音通话通常是双向的，就模型层面来说，这个双向是对称的。为了简单起见，我们讨论一个方向的通道就可以了。一方说话，另一方则听到声音。看似简单而迅捷，但是其背后的流程却是相当复杂的。我们将其经过的各个主要环节简化成下图所示的概念模型： 这是一个最基础的模型，由五个重要的环节构成：采集、编码、传送、解码、播放。 1.语音采集 语音采集指的是从麦克风采集音频数据，即声音样本转换成数字信号。其涉及到几个重要的参数：采样频率、采样位数、声道数。 简单的来说：采样频率，就是在1秒内进行采集动作的次数；采样位数，就是每次采集动作得到的数据长度。 而一个音频帧的大小就等于：（采样频率×采样位数×声道数×时间）/8。 通常一个采样帧的时长为10ms，即每10ms的数据构成一个音频帧。假设：采样率16k、采样位数16bit、声道数1，那么一个10ms的音频帧的大小为：（16000*16*1*0.01）/8 = 320 字节。计算式中的0.01为秒，即10ms。 2.编码 假设我们将采集到的音频帧不经过编码，而直接发送，那么我们可以计算其所需要的带宽要求，仍以上例：320*100

收藏笔记 1 . 音视频处理的一般流程： 数据采集→数据编码→数据传输(流媒体服务器) →解码数据→播放显示 1、数据采集： 摄像机及拾音器收集视频及音频数据，此时得到的为原始数据 涉及技术或协议： 摄像机：CCD、CMOS 拾音器：声电转换装置（咪头）、音频放大电路 2、数据编码： 使用相关硬件或软件对音视频原始数据进行编码处理（数字化）及加工（如音视频混合、打包封装等），得到可用的音视频数据 涉及技术或协议： 编码方式：CBR、VBR 编码格式 视频：H.265、H.264、MPEG-4等，封装容器有TS、MKV、AVI、MP4等 音频：G.711μ、AAC、Opus等，封装有MP3、OGG、AAC等 3、数据传输： 将编码完成后的音视频数据进行传输，早期的音视频通过同轴电缆之类的线缆进行传输，IP网络发展后，使用IP网络优传输 涉及技术或协议： 传输协议：RTP与RTCP、RTSP、RTMP、HTTP、HLS（HTTP Live Streaming）等 控制信令：SIP和SDP、SNMP等 4、解码数据： 使用相关硬件或软件对接收到的编码后的音视频数据进行解码，得到可以直接显示的图像/声音 涉及技术或协议： 一般对应的编码器都会带有相应的解码器，也有一些第三方解码插件等 5、播放显示： 在显示器（电视、监视屏等）或扬声器（耳机、喇叭等）里，显示相应的图像画面或声音

一、直播原理及流程 1.一个完整直播app原理 直播原理 ：把主播录制的视频，推送到服务器，在由服务器分发给观众观看。 直播环节 ：推流端（采集、美颜处理、编码、推流）、服务端处理（转码、录制、截图、鉴黄）、播放器（拉流、解码、渲染）、互动系统（聊天室、礼物系统、赞） 2.直播app实现流程 1.采集、2.滤镜处理、3.编码、4.推流、5.CDN分发、6.拉流、7.解码、8.播放、9.聊天互动 直播流程.png 3.直播app架构 直播架构.png 4.直播app技术点 二、直播基础知识介绍： 1.采集视频、音频 * 1.1 采集视频、音频编码框架 * AVFoundation :AVFoundation是用来播放和创建实时的视听媒体数据的框架，同时提供Objective-C接口来操作这些视听数据，比如编辑，旋转，重编码 * 1.2 视频、音频硬件设备 * CCD :图像传感器： 用于图像采集和处理的过程，把图像转换成电信号。 拾音器 :声音传感器： 用于声音采集和处理的过程，把声音转换成电信号。 音频采样数据 :一般都是PCM格式 视频采样数据 : 一般都是 YUV ,或 RGB 格式，采集到的原始音视频的体积是非常大的，需要经过压缩技术处理来提高传输效率 2.视频处理（美颜，水印） 视频处理原理 :因为视频最终也是通过GPU，一帧一帧渲染到屏幕上的，所以我们可以利用OpenGL

目录 【如何快速的开发一个完整的iOS直播app】(原理篇) 【如何快速的开发一个完整的iOS直播app】(播放篇) 【如何快速的开发一个完整的iOS直播app】(采集篇) 前言 大半年没写博客了，但我一直关注着互联网的动向，最近会研究很多东西，并分享，今年移动直播行业的兴起，诞生了一大批网红，甚至明星也开始直播了，因此不得不跟上时代的步伐，由于第一次接触的原因，因此花了很多时间了解直播，整理了直播的原理，当前只是原理篇，后续会持续发布实战篇，教你从零开始搭建一个完整的iOS直播app，希望能帮助到更多的人更快的了解直播。 一、个人见解（直播难与易） 直播难：个人认为要想把直播从零开始做出来，绝对是牛逼中的牛逼，大牛中的大牛，因为直播中运用到的技术难点非常之多，视频/音频处理，图形处理，视频/音频压缩，CDN分发，即时通讯等技术，每一个技术都够你学几年的。 直播易：已经有各个领域的大牛，封装好了许多牛逼的框架，我们只需要用别人写好的框架，就能快速的搭建一个直播app，也就是传说中的站在大牛肩膀上编程。 二、了解直播 热门直播产品 映客，斗鱼，熊猫，虎牙，花椒等等 直播效果图 1.一个完整直播app功能(来自落影loyinglin分享) 1、聊天 私聊、聊天室、点亮、推送、黑名单等; 2、礼物 普通礼物、豪华礼物、红包、排行榜、第三方充值、内购、礼物动态更新、提现等； 3、直播列表

【如何快速的开发一个完整的iOS直播app】(原理篇) 转载自简书@ 袁峥Seemygo ： http://www.jianshu.com/p/7b2f1df74420 一、个人见解（直播难与易） 　　直播难：个人认为要想把直播从零开始做出来，绝对是牛逼中的牛逼，大牛中的大牛，因为直播中运用到的技术难点非常之多，视频/音频处理，图形处理，视频/音频压缩，CDN分发，即时通讯等技术，每一个技术都够你学几年的。 　　直播易：已经有各个领域的大牛，封装好了许多牛逼的框架，我们只需要用别人写好的框架，就能快速的搭建一个直播app，也就是传说中的站在大牛肩膀上编程。 二、了解直播 　　 热门直播产品：映客、斗鱼、熊猫、虎牙、花椒等等 　　直播效果图 　　 　　　　 直播效果.jpeg 1.一个完整直播app功能(来自 落影loyinglin 分享) 1、聊天 私聊、聊天室、点亮、推送、黑名单等; 2、礼物 普通礼物、豪华礼物、红包、排行榜、第三方充值、内购、礼物动态更新、提现等； 3、直播列表 关注、热门、最新、分类直播用户列表等； 4、自己直播 录制、推流、解码、播放、美颜、心跳、后台切换、主播对管理员操作、管理员对用户等； 5、房间逻辑 创建房间、进入房间、退出房间、关闭房间、切换房间、房间管理员设置、房间用户列表等； 6、用户逻辑 普通登陆、第三方登陆、注册、搜索、修改个人信息

有些MP4只有音频没有视频 在代码中写了video，发现视频只有声音，而视频不动 <video id="myv" width="600" height="400" src="video.mp4" ></video> 经过研究发现video只有mp4的视频编码有三种：MPEG4(DivX)、MPEG4(Xvid)、AVC(H264)， 在格式工厂中，把视频文件转换成AVC(H264)编码，就能正常播放。 当前，video 元素支持三种视频格式： Ogg = 带有 Theora 视频编码和 Vorbis 音频编码的 Ogg 文件 MPEG4 = 带有 H.264 视频编码和 AAC 音频编码的 MPEG 4 文件 WebM = 带有 VP8 视频编码和 Vorbis 音频编码的 WebM 文件 来源： CSDN 作者： 三山四水_ 链接： https://blog.csdn.net/xuxingyuan_/article/details/104006135

WAV 格式中常见的压缩编码 (compression code) WAV为微软公司(Microsoft)开发的一种声音文件格式，它符合RIFF(Resource Interchange File Format)文件规范，用于保存Windows平台的音频信息资源，被Windows平台及其应用程序所广泛支持，该格式也支持MSADPCM，CCITT A LAW等多种压缩运算法，支持多种音频数字，取样频率和声道。标准格式化的WAV文件采样频率为44100Hz，采样比特为16bit，因此标准的（这里说标准，只是一种广泛采用的波形音频方案）WAV文件和CD音频格式一样，也是44.1KHz的取样频率，16位量化数字，在声音文件质量和CD音频相差无几。 　下面由 useiee 详细介绍一下WAV格式文件常见的10种压缩码形式(Compression Code)。[1] 　1. PCM/uncompressed 　　Pulse Code Modulation，脉码调制信号。是模拟音频信号经模数转换（A/D变换）直接形成的二进制序列，该文件没有附加的文件头和文件结束标志。Windows的Convert工具可以把PCM音频格式的文件转换成Microsoft的WAV格式的文件。 　　PCM脉码调制数字音频格式是70年代末发展起来的，80年代初由飞利浦和索尼公司共同推出。PCM的音频格式也被DVD

作为移动开发者，大多数时候会需要接触到音视频相关的开发，而其实严格意义上我也并不是专职的音视频开发工程师，只是在 2016 因为业务需要接触到音视频相关的领域，而开源的 GSYVideoPlayer 恰好火起来之后，为了解决系列问题成了“半桶水”的音视频开发工程师。 在维护 GSYVideoPlayer 的这几年里，我发现很多开发者对于音视频领域相关的基本概念还是不清楚，所以我也经常可以收获这样的 issue： “为什 么xxx 可以播而 GSY 不能播？” “我两个视频都是 mp4 为什么其中一个播放不了？” “为什么缓冲过的视频 seek 完还要重新请求数据？” “为什么播放有黑边？” “····” 而这些其实都是音视频开发过程中的常识性问题，所以本篇将通过 基本概念 、 常见问题 、 应用场景 来科普音视频开发的基础知识。 基本概念 首先，如下图所示是一个 .MOV 的视频文件，可以看到更多信息栏里编码器有 AAC 、 HEVC ，而这个就是视频的 音频编码 和 视频编码 ，而 MOV 其实就是 封装协议 ，这其实就是我们接下来要介绍的基本概念。 一般情况下，视频流从加载都准备播放是需要经过 解协议、解封装、解编码 这样的过程，其中 协议指的就是流媒体协议；封装是的是视频的封装格式；编码又分为视频编码和音频编码 。 协议 一般有 HTTP 、 RTSP 、 RTMP 等