视频编码

H264编码技术介绍 H.264是ITU-T以H.26x系列为名称命名的视频编解码技术标准之一。H.264是ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）的联合视频组（JVT：joint video team）开发的一个数字视频编码标准。该标准最早来自于ITU-T的称之为H.26L的项目的开发。H.26L这个名称虽然不太常见，但是一直被使用着。H.264是ITU-T以H.26x系列为名称命名的标准之一，同时AVC是ISO/IEC MPEG一方的称呼。 H.264标准的主要目标是：与其它现有的视频编码标准相比，在相同的带宽下提供更加优秀的图象质量。通过该标准，在同等图象质量下的压缩效率比以前的标准（MPEG2）提高了2倍左右，因此，H.264被普遍认为是最有影响力的行业标准。 H264编码NALU结构介绍与I帧判断 在H.264/AVC视频编码标准中，整个系统框架被分为了两个层面：视频编码层面（VCL）和网络抽象层面（NAL）。其中，前者负责有效表示视频数据的内容，而后者则负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。因此我们平时的每帧数据就是一个NAL单元（SPS与PPS除外）。在实际的H264数据帧中，往往帧前面带有00 00 00 01分隔符，一般来说编码器编出的首帧数据为PPS与SPS，接着为I帧……

本文引用了微信公众号“鲜枣课堂”的《视频编码零基础入门》文章内容。为了更好的内容呈现，引用和收录时内容有改动，转载时请注明原文来源信息，尊重原作者的劳动。 1、引言 如今我们所处的时代，是移动互联网时代，也可以说是视频时代。从快播到抖音，从“三生三世”到“延禧攻略”，我们的生活，被越来越多的视频元素所影响。 而这一切，离不开视频拍摄技术的不断升级，还有视频制作产业的日益强大。 此外，也离不开通信技术的飞速进步。试想一下，如果还是当年的56K Modem拨号，或者是2G手机，你还能享受到现在动辄1080P甚至4K的视频体验吗？ 除了视频拍摄工具和网络通信技术升级之外，我们能享受到视频带来的便利和乐趣，还有一个重要因素，就是视频编码技术的突飞猛进。 视频编码技术涉及的内容太过专业和庞杂，市面上的书籍或博客多数都只是枯燥的技术概念罗列，对于新手来说读完依旧蒙逼是常态，本文将借此机会，专门给大家做一个关于视频编码的零基础科普。 ▼ 本文涉及概念较多，为了方便阅读，本文的内容目录对应如下： 1、引言 2、系列文章 3、图像基础知识 3.1）什么是像素？ 3.2）什么是PPI？ 3.3）颜色在计算机里是如何表示的？ 4、视频编码基础知识 4.1）视频和图像和关系 4.2）未经编码的视频数据量会有多大？ 4.3）什么是编码？ 5、视频编码的实现原理 5.1）视频编码技术的基本原理 5.2

1、丢帧的出现 说起视频播放器大家都很熟悉了，覆盖各种平台，使用简单操作方面，但是视频播放器里面的原理却非常的复杂，牵扯到很多方面的知识点。今天我们来探讨一下当视频解码和渲染的总时间大于了视频指定的时间时，就会出现声音比画面快的情况，单个画面延后的时间在人眼不能察觉的范围内还是能接受的，但是如此累计起来就会造成这个延迟的加大，导致后面声话完全不同步，这是不能接受的，那么为了解决这种问题，视频“丢帧”就出现了。 2、视频播放原理 我们看到的视频其实就是一幅一幅的图片组成的，就和电影一样的原理，在很短的时间内连续把这些图片展示出来，这样就达到了视频连续的效果，比如每秒中展示25幅图片。而在这25幅图片中某几幅（不能太多）图片没有展示出来，我们也是很难察觉的，这就是我们“丢帧”的基础了。如果图片丢失多了，明眼人一眼就看出来了，那么就不用再讨论“丢帧”了，而是不会看你的这个视频了。 3、视频编码过程（H264） 现在视频编码比较流行的就是H264编码，它的压缩（编码）模式有很多种，适合于不同的场景，比如网络直播、本地文件、UDP传输等都会采样不同的压缩（编码）模式，h264编码器会把一幅幅的图片压缩（编码）成体积很小的一个一个的单元（NALU），并且这些一个一个的单元之间并不是完全独立的，比如：有10幅图片，经过编码后，第一幅图片会单独生成一个单元

2019年10月22日，由莫斯科国立大学（Moscow State University）举办的MSU世界视频编码器大赛成绩揭晓， 腾讯内部开源协同的V265编码器再创佳绩，一举拿下PSNR(峰值信噪比)/VMAF(Netflix开源的感知视频质量评估算法)两项指标第一、SSIM指标第二的出色成绩。 近些年随着视频服务领域的快速发展，点播、直播、短视频、VR等领域相继爆发，人们对于高清、超高清视频的追求越来越强烈，同时也带来了越来越大的带宽压力，如何利用利用技术降低带宽消耗的同时又能最大化的还原视频的画质和质量，成为了重要的课题。视频压缩编码作为其中最核心的一环，越来越被各大公司机构重视。MSU世界视频编码器大赛作为视频压缩领域最具影响力的顶级赛事，迄今已连续举办了十四届，吸引了越来越多国内外重量级公司和组织的参加，包括: Intel、Google、Tencent、Huawei、Ittiam、MulticoreWare、Ucodec、Peppa、Kingsoft等都数次参与该比赛。 今年的世界视频编码器大赛竞争异常激烈，总计有12个编码器公开测试结果，超过往年。同时测试集较往年也有了非常大的改动，不仅在数量上是往届之最，从去年的28个增加到今年的100个， 测试集的选取上也进一步优化从而能更好的反映真实的应用场景。 在这样激烈的竞争下，V265编码器仍然斩获了PSNR

1、丢帧的出现 说起视频播放器大家都很熟悉了，覆盖各种平台，使用简单操作方面，但是视频播放器里面的原理却非常的复杂，牵扯到很多方面的知识点。今天我们来探讨一下当视频解码和渲染的总时间大于了视频指定的时间时，就会出现声音比画面快的情况，单个画面延后的时间在人眼不能察觉的范围内还是能接受的，但是如此累计起来就会造成这个延迟的加大，导致后面声话完全不同步，这是不能接受的，那么为了解决这种问题，视频“丢帧”就出现了。 2、视频播放原理 我们看到的视频其实就是一幅一幅的图片组成的，就和电影一样的原理，在很短的时间内连续把这些图片展示出来，这样就达到了视频连续的效果，比如每秒中展示25幅图片。而在这25幅图片中某几幅（不能太多）图片没有展示出来，我们也是很难察觉的，这就是我们“丢帧”的基础了。如果图片丢失多了，明眼人一眼就看出来了，那么就不用再讨论“丢帧”了，而是不会看你的这个视频了。 3、视频编码过程（H264） 现在视频编码比较流行的就是H264编码，它的压缩（编码）模式有很多种，适合于不同的场景，比如网络直播、本地文件、UDP传输等都会采样不同的压缩（编码）模式，h264编码器会把一幅幅的图片压缩（编码）成体积很小的一个一个的单元（NALU），并且这些一个一个的单元之间并不是完全独立的，比如：有10幅图片，经过编码后，第一幅图片会单独生成一个单元

一、概述 我们常见的视频文件，大多为 mkv、mov、mp4 等扩展名。一般情况下，我们粗略地根据扩展名判断文件类型。但实际上，科学的分类方法如下： 编码：指的是媒体文件中音视频的编码，如：H.264、AAC 容器：可根据文件扩展名区分，用于将多部分内容整合，包括： 视频 音频，可以是多音轨，如：一部影片同时具备多种语言 字幕：一部影片也可以包含多种语言的内置字幕 二、常见的文件（容器）格式 AVI (.avi) 　　其含义是 Audio Video Interactive，就是把视频和音频编码混合在一起储存，是最常见的音频视频容器。支持的视频音频编码也是最多的。AVI 也是最长寿的格式，已存在 10 余年了，虽然发布过改版（V2.0 于 1996 年发布），但已显老态。 MPG (.mpg/.mpeg/.dat) 　　MPEG 编码采用的音频视频容器，具有流的特性，里面又分为 PS、TS 等，PS 主要用于 DVD 存储，TS 主要用于 HDTV。 VOB (.vob) 　　DVD 采用的音频视频容器格式（即视频 MPEG-2，音频用 AC3 或者 DTS），支持多视频多音轨多字幕章节等。 MP4 　　MPEG-4 编码采用的音频视频容器，基于 QuickTime MOV 开发，具有许多先进特性。 3GP 　　3GPP 视频采用的格式，主要用于流媒体传送。 ASF (.wmv/