vp8

我们平常笼统说的「视频格式」其实包含三个部分：视频编码、音频编码、容器格式。其中「编码」这个概念其实又包含两个方面：编码和解码。「视频编码」作为动词指的是将动态的图像信息转化为二进制数据的过程；其逆过程称为「视频解码」。「视频编码」作为名词则通常指的是某种特定的编码方式。同样的概念也适用于「音频编码」，只不过它转化的是声音信息。大多数「视频文件」都同时包含视频和音频，因此编码后至少都有两组二进制数据，并且两组数据必须按照特定的方式同步起来，否则我们看到的画面和听到的声音将不吻合。为了解决编码后多组不同类型的的数据的存储、传输问题，需要将他们按照一定的规律组织起来，这种组织方式即是「容器格式」。 我们常见的视频文件扩展名包括 .avi, .rmvb, .mp4, .mkv 等。其实扩展名都是指的某种容器格式。这些容器里面存放的数据可能采用了多种不同的编码方式。例如，常见的 avi 文件里面存放的通常是 xvid 或 divx 编码的视频和 mp3 编码的音频。rmvb 文件里面存放的通常是 RV40 编码的视频和 cook 编码的音频。mp4 文件里面通常存放的是 H.264 编码的视频和 AAC 编码的音频。mkv 文件里面存放的则可能包含前面各种。 目前业界主流的封装是MP4.因为MP4有着良好的特性，并对HTML5友好。mp4新规范实际已经支持无缝拼接，真正流媒体封装器

WebRTC简介 WebRTC，名称源自网页即时通信（英语：Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的API。它于2011年6月1日开源并在Google、Mozilla、Opera支持下被纳入万维网联盟的W3C推荐标准。EasyRTC基于WebRTC，凭借多年音视频开发经验并结合实际情况，开发了 基于WebRTC的音视频通讯云平台，提供互动教学、连麦直播、视频会议、指挥调度等多种音视频跨平台解决方案。 WebRTC历史 2010年5月，Google以6820万美元收购VoIP软件开发商Global IP Solutions的GIPS引擎，并改为名为“WebRTC”。WebRTC使用GIPS引擎，实现了基于网页的视频会议，并支持722，PCM，ILBC，ISAC等编码，同时使用谷歌自家的VP8视频解码器；同时支持RTP/SRTP传输等。 2012年1月，谷歌已经把这款软件集成到Chrome浏览器中。同时FreeSWITCH项目宣称支持iSAC audio codec。 WebRTC核心API WebRTC原生APIs文件是基于WebRTC规格书撰写而成，这些API可分成Network Stream API、 RTCPeerConnection、Peer-to-peer Data API三类： Network

以短视频、直播为代表的音视频互动，正成为互联网主流的交互方式。拿直播举例，它从一种娱乐形式，逐渐融合于教育、娱乐、电商、旅游等多种生态中。未来，直播还将成为像水、电一样的基础设施。 然而，仅仅可进行音视频互动是不够的，直播还需要与行业、场景、用户需求结合，实现体验更好、成本更低、扩展性更强的底层能力。而在这些能力中，低延迟是影响用户体验至关重要的一项。 一、即构推出 低延迟直播产品Low-Latency Live 在大规模直播场景中，例如在线大班课、电商直播、秀场直播等，大部分是采用传统的CDN直播技术。CDN直播采用的是基于 TCP 的 RTMP/HTTP-FLV/HLS 等流媒体协议，本身就会引入 「 秒级 」 的系统时延。在这些场景中，观众从评论完到看到主播给出反馈，一般在5-10秒左右，能明显感受到延迟和不同步。 同时，传统 CDN 直播还存在弱网抗性差、观众端内容不同步等弊病，影响了用户的直播体验。 随着大规模直播在越来越多行业的应用，为了让用户获得更优质的直播互动体验，即构科技推出了低延迟直播产品 Low-Latency Live，简称L3。 L3产品具有等同云厂商 CDN 直播的高并发能力，支持千万级并发拉流；同时相比 CDN 直播，能给用户带来 「 毫秒级 」 的直播体验；具有延迟更低、同步性更优、弱网抗性更好的优势。 即构低延迟直播 产品L3，是基于 ZEGO

引言 随着社会的发展，人们对实时音视频的需求越来越多。在线会议，电商直播，在线教育等相关产品不断涌现。但是对于个人开发者或者小团队来说，自己实现一个实时音视频服务并且要保障服务稳定，满足低延时等要求，难度非常大。为此我们需要寻找一个合适的解决方案。功能强大且可靠的声网Agora就成为了极佳的选择。 今年声网推出了下一代 Agora Web SDK (Agora Web SDK NG)，基于 TypeScript 开发，使用 Promise 来管理异步操作，灵活易用。今天我就来分享一下如何快速接入该SDK并实现一些简单的实时音视频通话。 前期准备 首先我们需要注册一个声网账号( 注册地址 )，注册成功后会进入控制台，完成实名认证，在左侧进入项目管理页面，开始创建项目： 输入项目名称，选择鉴权机制。为了项目安全性考虑，这里推荐使用安全模式。提交后进入项目信息页面，记录一下AppID和证书我们之后在代码中会用到。由于我们选择了安全模式，在使用SDK时我们需要生成token，在本地开发调试时可以在项目信息页面下方点击生成临时token，然后拷贝到代码中使用。 在项目发布时，可以参考 文档 和 官方仓库 编写对应的token生成代码，部署到自己的服务器上通过调用接口的形式来获取token。 新建项目并集成SDK 前期准备工作已经完成，大家根据自己的实际情况来新建一个web项目，完成后

Github选出 TOP 10开源免费的RTSP流媒体项目，以下是具体排名及星星数。 1、Easydarwin 星星数：4,307 Easydarwin是国内团队开发的开源流媒体框架。 它是基于Go语言研发，从2012年12月创建并发展至今，从原有的单服务的流媒体服务器形式，扩展成现在的云平台架构开源项目，属于高性能开源RTSP流媒体服务器，在Github上受到广大欢迎。 特点：RTSP推模式转发、RTSP拉模式转发、录像、检索、回放、关键帧缓存、秒开画面、RESTful接口、WEB后台管理、分布式负载均衡。 2、Libstreaming 星星数：2,959 特点：在Android上使用RTP传输H.264，H.263，AMR，AAC流媒体 3、Zlmediakit 星星数：1,824 特点：基于C ++ 11的轻量级RTSP / RTMP / HTTP / HLS / HTTP-FLV / WebSocket-FLV / GB28181服务器和客户端框架 4、V4l2rtspserver 星星数：959 特点：用于V4L2设备捕获的RTSP服务器，支持HEVC / H264 / JPEG / VP8 / VP9 5、Janus Webrtc Gateway Docker 星星数：497 特点：适用于流媒体专业级用户的Docker映像 6、Rtsp Simple Server

今天我们来讲一下音视频直播都用到了哪些技术。图玩智能科技作为直播领域专业服务商，为企业提供直播平台的二次开发服务，搭建更完善更稳定的直播系统，欢迎随时咨询 www.toivan.com 。说到音视频直播技术，我们最先想到的是音频技术和视频技术。 其实音频技术和视频技术它们的大体处理流程都是差不多的。一般都分为五大步： 数据采集，编码，传输，解码和渲染。 音视频处理 数据采集。对于音频来说采集到的数据是 PCM 格式，对于视频数据采集的格式是 YUV 格式。 数据压缩编码。数据采集完成之后，需要对数据进行压缩编码。音视频使用的压缩技术称为有损压缩技术。而像我们平 RAR ， ZIP 工具进行的压缩都是无损压缩。就是说解压后的数据与原始数据一样叫做无损压缩，解压后和原始数据高度接近称为有损压缩，音视频编码属于后者。对于音频来讲，常用的编码格式有 speex, AAC, OPUS, G.711 等。现在比较常用的是 AAC ，一是它音质比较好，二是 RTMP 对 AAC 支持的比较好。对于视频编码格式有 H.264, H.265, VP8, VP9 等，目常基本上都是使用 H.264 。注意，衡量有损压缩好坏的指标就是看同等压缩率的情况下，解压后的数据与原始数据之间差别的大小，差别越小证明压缩的算法越优。当然在实时互动直播中

编解码学习笔记（一）：基本概念 媒体业务是网络的主要业务之间。尤其移动互联网业务的兴起，在运营商和应用开发商中，媒体业务份量极重，其中媒体的编解码服务涉及需求分析、应用开发、释放license收费等等。最近因为项目的关系，需要理清媒体的codec，比较搞的是，在豆丁网上看运营商的规范 标准，同一运营商同样的业务在不同文档中不同的要求，而且有些要求就我看来应当是历史的延续，也就是现在已经很少采用了。所以豆丁上看不出所以然，从 wiki上查。中文的wiki信息量有限，很短，而wiki的英文内容内多，删减版也减肥得太过。我在网上还看到一个山寨的中文wiki，长得很像，红色的，叫“天下维客”。wiki的中文还是很不错的，但是阅读后建议再阅读英文。 　　我对媒体codec做了一些整理和总结，资料来源于wiki，小部分来源于网络博客的收集。网友资料我们将给出来源。如果资料已经转手几趟就没办法，雁过留声，我们只能给出某个轨迹。 基本概念 编解码 　　编解码器（codec）指的是一个能够对一个信号或者一个数据流进行变换的设备或者程序。这里指的变换既包括将 信号或者数据流进行编码（通常是为了传输、存储或者加密）或者提取得到一个编码流的操作，也包括为了观察或者处理从这个编码流中恢复适合观察或操作的形式的操作。编解码器经常用在视频会议和流媒体等应用中。 容器 　

WebRTC提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、显示等功能，并且还支持跨平台：windows，linux，mac，android, iOS等。Webrtc 是多媒体通信技术的未来趋势，Google为了成为标准的主导者，将Chrome浏览器里的Webrtc实现代码开源了，浏览器的开源的WebRTC是众多同仁学习研究的重要资源，这个开源实现中的任何的一个技术点都可以拿出来列一个专题进行讨论，这里我们只能简单的介绍一下。 一、视频相关 视频采集---video_capture 源代码在webrtc\modules\video_capture\main目录下，包含接口和各个平台的源代码。 在windows平台上，WebRTC采用的是dshow技术，来实现枚举视频的设备信息和视频数据的采集，这意味着可以支持大多数的视频采集设备；对那些需要单独驱动程序的视频采集卡（比如海康高清卡）就无能为力了。 视频采集支持多种媒体类型，比如I420、YUY2、RGB、UYUY等，并可以进行帧大小和帧率控制。 视频编解码---video_coding 源代码在webrtc\modules\video_coding目录下。 WebRTC采用I420/VP8编解码技术。 VP8是google收购ON2后的开源实现，并且也用在WebM项目中。 VP8能以更少的数据提供更高质量的视频

本文由爱奇艺技术产品团队原创分享，为了更好的内容呈现，收录时有优化和改动。 1、内容点评 本文以轻松幽默的语气，讲解了视频编解码的一些基本常识，并以爱奇艺为例，讲述了视频编解码技术在国内的发展以及未来的一些展望。 2、正文引言 初夏最火的造型是什么？不少人可能会脱口而出——“淡黄的长裙，蓬松的头发。。。” 就连我这个上古时期的老年人，都开始每周四和周六准时点开爱奇艺首页，吸一口青春美少女们。原因无他，后疫情灰色时期，还有什么能比漂亮小姐姐的灿烂笑容更能让人感觉到人间值得呢？而我上一次真情实感追完的的女团选秀，可能要追溯到……《超级女声》。 不管自己pick的姐姐妹妹能不能顺利出道，至少今天在屏幕上欣赏她们的颜，绝对是一件超幸福的事儿。既不用忍受电视的“马赛克画质”，还能随时随地掏出手机来欣赏妹妹们今日份的可爱。 不知道大家有没有同一种快乐，那就是用4G网络看蓝光1080P，已经没有“流量焦虑”了，出现缓冲旋转“小菊花”的情况的几率也在悄然减少。这种观看体验的优化，除了通信网络环境的改变之外，缔造这种视觉快乐的一项关键技术——视频编码，就像是宇宙中的暗物质——鲜为人知，但十分重要。 简单来说： 视频编码技术的升级，能够让你用更少的流量、更低的带宽、更快的速度，看更高清晰度的视频画面。比如《青春有你2》溢出屏幕的元气少女感，是不是比2005年的朦胧美更令人心动呢？

自动支持图片webp格式压缩，图片服务器升级webserver webp server 是开源免费的。 图片服务器升级，自动支持webp，得先升级openresty 用go写的 webserver 请求到jpg png gif这些，再缓存起来，外面请求还是jpeg这些，实际先到go返回的webp格式，当浏览器不支持webp的才返回源文件。 提升加载时间，图片从434KB减少到340KB，1/4（25%）的压缩率。 根据 caniuse 的统计情况， 主流浏览器（接近80%）都支持 webp 了，如果遇到 Safari 这样的奇葩，直接返回原图。 最重要的一点是——我们访问的 URL 可以完全不用改变，访客访问的依然是xxx.jpg ，但是得到的图片格式为：image/webp，而且体积减少了不少（25%）。 WebP的有损压缩算法是基于VP8视频格式的帧内编码[17]，并以RIFF作为容器格式。[2] 因此，它是一个具有八位色彩深度和以1:2的比例进行色度子采样的亮度-色度模型（YCbCr 4:2:0）的基于块的转换方案。[18] 不含内容的情况下，RIFF容器要求只需20字节的开销，依然能保存额外的 元数据(metadata)。[2] WebP图像的边长限制为16383像素。 WebP 是一种衍生自 Google VP8 的图像格式，同时支持有损和无损编码。当使用有损模式