HEVC

2018 年世界杯前， StarTimesOn App 在非洲正式上线，全程直播 32 个球队的 64 场比赛，获得了广泛的关注和大量用户。目前StarTimesOn App除了转播体育赛事，还有 140 多个国际顶级的直播频道，以及数万小时的影视剧内容。 然而在非洲的网络条件下，交付良好的视频播放体验绝非易事，所以这几年张亮的工作就是从各个角度探索问题的解决方案，以保障非洲地区的视频播放体验。 采访讲师： 张亮 ，四达时代研发总监，毕业于北京科技大学，拥有超过十年的视频处理与CDN行业经验，对视频关键技术和大型系统架构设计有较深入的理解，近几年专注于海外弱网下的视频播放体验优化。目前主要负责“StarTimes On视频基础平台”的建设与技术管理工作。 LiveVideoStack：请您简单为读者介绍一下“StarTimesOn视频基础平台”及其亮点。 张亮： StarTimesOn视频基础平台包含了视频处理、视频分发、用户请求调度、视频QoE与QoS分析四大模块，每一部分均为非洲的独特挑战量身定制。 说到亮点，首先应该是 0-RTT起播的特性 ，用户在播放视频之前无需与后台和CDN进行多次交互，而是直接下载视频内容开始播放，这个特点使用户免受高RTT带来的首屏时间较长问题。 在 视频处理 部分，我们针对非洲相对较差的网络环境，设计了针对性的转码算法和封装格式

MFQE 2.0: A New Approach for Multi-frame Quality Enhancement on Compressed Video 目录 MFQE 2.0: A New Approach for Multi-frame Quality Enhancement on Compressed Video 1. 要点 2. 压缩视频特性分析 2.1 质量波动 2.2 帧间相关性 3. 方法 3.1 分类器 3.2 好帧运动补偿 3.3 质量增强网络 4. 实验 4.1 差帧质量提升效果 4.2 总体效果 4.3 缓和压缩视频的质量波动 4.4 网络速度 4.5 主观效果 5. 不足和展望 6. 其他（复现建议） 在本文的最后，我会对开源代码的复现给出一些建议。 MFQEv2没有使用任何“花哨”的结构设计和训练技巧。我们用最简单的CNN结构实现了我们的思路，网络参数量仅255k。欢迎大家使用。 【前景提要】 这篇论文是 Multi-frame quality enhancement for compressed video （CVPR 2018）的升级版本，2019年9月26日被 TPAMI （2018年IF=17.730）接收。博主和硕士导师关振宇是共同一作，通讯作者为博士导师徐迈。 【论文】 [ArXiv] [ResearchGate] 【开源代码和所需数据

最近两年， 树莓派 Zero 和 树莓派 Zero W 作为新成员出现在树莓派产品线中。这些超小型的单板计算机大受欢迎，而且会在相当长的一段时间内成为创客和 DIY 社区的 树莓派项目 的一部分。 为了实现更小尺寸和有效地控制价位，它们不得不在许多特性上做出让步，如放弃专用网口、采用更慢的处理器等（与其它们同族的全功能版相比）。 早先的一篇文章中，我们罗列了 树莓派的最佳替代品 。这里，我将给出树莓派 Zero 和树莓派 Zero W 的一些替代品。 树莓派 Zero 替代品：应用于物联网和嵌入式项目的超小单板计算机 受益于开源设计和开源软件栈，我们有为不同项目提供的具有各种功能集的优秀替代品。所有这些板子运行的都是嵌入式 Linux 的各种变体。 尽管树莓派 Zero 和树莓派 Zero W 的发布价格分别是 5 美元和 10 美元，但即使是在美国境内，也很难按这个价格买到。在美国之外，更是要花 12 和 20 美元才有可能买到。 知道了这些，让我们看看一些 20 美元以下的树莓派 Zero 替代品。 1、香蕉派 BPI M2 Zero 香蕉派 M2 Zero 售价 18 美元 ，与树莓派 Zero W 拥有相同的布局。它看起来像是树莓派 Zero W 的复制品，但也仅仅是外形像而已。它使用的是更快的全志 H2+ SOC 芯片，而且可以外接网络模块。它还可以运行多种基于

近日，新一代国际视频编解码标准（H.266/VVC）正式出炉。在此次标准制定过程中，腾讯有超过100项技术提案获得标准采纳，为国际视频压缩标准研究制定做出很多贡献。 据了解，H.266/VVC是由ISO/IEC MPEG和ITU-T VCEG联合制定，代表目前业界最先进成熟的视频压缩编码技术。全球范围内包括腾讯、高通、HHI、华为、三星、索尼、Intel、诺基亚、爱立信等企业均有参与其中。相对于上一代视频编解码标准H.265/HEVC， 新一代国际视频编解码标准（H.266/VVC）能够在不影响画质的情况下，将视频码率降低到原来的一半。随着这一标准的发布，整个超高清视频应用的发展将有望迎来全面爆发。 在本次标准制定过程中，腾讯多媒体实验室深度参与标准研究制定，贡献度处于世界领先地位。据多媒体实验室资深标准专家，H.266/VVC标准负责人李翔博士介绍，这次腾讯累计技术提案335篇，超过100篇专家小组报告、核心实验报告、专题讨论组报告以及标准会议输出决议文稿，100多个提案获得采纳。这一成果在所有标准制定厂商中名列前茅。 此外，腾讯多媒体实验室刘杉博士担任标准文本联合主编，李翔博士任参考软件联合主席，实验室数十人次担任专家小组主席，核心实验负责人，专题讨论组主席，为标准的研究制定做出了积极的贡献。 值得一提的是，国际视频编解码标准联合专家组采纳了腾讯多媒体实验室的提议

转自： https://zhuanlan.zhihu.com/p/108792210 本文将分为四个部分对下一代视频编码标准Versatile Video Coding（VVC）的变化模块进行介绍。第一部分简单介绍一下视频编码的发展历程以及VVC的编码框架；第二部分重点介绍VVC变换相比于以往的视频编码标准（HEVC、AVC）所新增加的一些特性；第三部分介绍了国内外对VVC变换硬件设计的研究现状；第四部分总结了我们当前的研究思路。 背景介绍 图1. 视频编码标准发展历程 上图展示了视频编码国际标准的发展历程，我们可以看到目前主要以VVC、AV1和AVS3为主流发展趋势。人们对高分辨率视频（4K、8K）的需求越来越大，因此需要更加高效的视频压缩标准来提升压缩效率降低带宽压力。按照下图所示的压缩率提升规律，编码效率每提升50%以上就会成为新一代标准，如早前的H.261、HAV1等，其性能基本持平所以我们将其称为第一代。而像AVS和H.264等比前一代提升50%就可称其为第二代，至于AVS2、H.265等相对于第二代的提升达到50%我们就将其称为第三代。现在我们正在探索的AVS3/VVC/H.266则会成为最新一代的压缩标准。 图2. 各代视频编码标准的压缩性能提升 和之前的标准类似，VVC采用基于块结构的混合编码框架，融合了帧内和帧间预测、变化编码和熵编码等模块。如下图： 图3.

本文由爱奇艺技术产品团队原创分享，为了更好的内容呈现，收录时有优化和改动。 1、内容点评 本文以轻松幽默的语气，讲解了视频编解码的一些基本常识，并以爱奇艺为例，讲述了视频编解码技术在国内的发展以及未来的一些展望。 2、正文引言 初夏最火的造型是什么？不少人可能会脱口而出——“淡黄的长裙，蓬松的头发。。。” 就连我这个上古时期的老年人，都开始每周四和周六准时点开爱奇艺首页，吸一口青春美少女们。原因无他，后疫情灰色时期，还有什么能比漂亮小姐姐的灿烂笑容更能让人感觉到人间值得呢？而我上一次真情实感追完的的女团选秀，可能要追溯到……《超级女声》。 不管自己pick的姐姐妹妹能不能顺利出道，至少今天在屏幕上欣赏她们的颜，绝对是一件超幸福的事儿。既不用忍受电视的“马赛克画质”，还能随时随地掏出手机来欣赏妹妹们今日份的可爱。 不知道大家有没有同一种快乐，那就是用4G网络看蓝光1080P，已经没有“流量焦虑”了，出现缓冲旋转“小菊花”的情况的几率也在悄然减少。这种观看体验的优化，除了通信网络环境的改变之外，缔造这种视觉快乐的一项关键技术——视频编码，就像是宇宙中的暗物质——鲜为人知，但十分重要。 简单来说： 视频编码技术的升级，能够让你用更少的流量、更低的带宽、更快的速度，看更高清晰度的视频画面。比如《青春有你2》溢出屏幕的元气少女感，是不是比2005年的朦胧美更令人心动呢？

本文由上海交通大学教授宋利在LiveVideoStackCon2020线上峰会的演讲内容整理而成，从分析视频传输系统延迟入手，分析视频编码延迟的产生机制，总结优化编码延迟的技术手段和业界典型的低延迟编码方案，讨论不同场景的延迟要求，并对后续技术演进发展方向进行展望。 文 / 宋利 整理 / LiveVideoStack 本次分享的主题是互动场景下的低延迟编码技术，内容分为四个方面：一是互动媒体服务；二是低延迟视频编码技术；三是低延迟编码方案；四是应用场景和发展趋势。 互动媒体服务 1.1 视频媒体形态 如图所示，我们将现有典型的视频相关服务按照高通量、强交互两个维度进行划分，其中横坐标表示高通量，纵坐标表示强交互，一些典型的视频映射到图中分布于不同的位置。 左下角部分可以称为基本视频，它涵盖了当前的一些主流应用，包括TV、视频监控、视频会议以及多人视频游戏等，其特点是以二维视频为主，同时交互形式包括单项、双项和多人交互。 如果从这个区域往外扩展，外面一层是可以称之为增强视频，沿高通量维度由高清向超高清、自由视、点云、光场过渡，交互维度包括仿真训练、电竞，两者都演进的方向是VR、AR，最后演进到全触感，也就是视频媒体形态正在由基本视频向增强视频演进，这两个维度某种程度和现在5G中两个维度很契合，高通量对应大带宽，强交互对应低延迟。 这张图显示了流媒体视频的典型服务场景

频率管理和热控制 所有Raspberry Pi型号都执行一定程度的热管理，以避免在重负载下过热。SoC具有一个内部温度传感器，GPU上的该软件会轮询以确保温度不超过预定义的限制。所有型号的温度均为85°C。可以将其设置为较低的值，但不能将其设置为较高的值。随着设备接近极限，芯片（ARM，GPU）上使用的各种频率和电压有时会降低。这样可以减少产生的热量，从而使温度保持可控。 当核心温度在80°C至85°C之间时，将显示一个警告图标，显示红色的半填充温度计，并且ARM核心将逐渐下降。如果温度达到85°C，将显示温度计已满的图标，并且ARM内核和GPU频率都将被调低。 对于树莓派3B、 B + 版本，PCB技术已进行了更改，以提供更好的散热和增加的热质量。另外，引入了一个软温度限制，目的是使设备在达到85°C的硬限制之前可以“冲刺”的时间最大化。达到软限制时，时钟速度从1.4GHz降低至1.2GHz，工作电压略有降低。这降低了温度升高的速度：我们将1.4GHz的短时间换为1.2GHz的较长时间。默认情况下，软限制为60°C，可以通过config.txt中的 temp_soft_limit 设置进行更改。 Raspberry Pi 4 Model B继续采用与Raspberry Pi 3B +相同的PCB技术，以帮助散热。当前没有定义软限制。 Raspberry Pi 4B上的DVFS

音频，PM3, wma,wav VGA ->r,g,b yuv,rgb,亮度色差 CD音频格式，采样率44.1，编码位数16,位，立体声双声道；采样时间为60s， 则其数据量为： （[44.1×1000×16×2×（5×60）] /（8×1024×1024） =50.47MB）。 mpeg->i,b,p,b帧, 熵，最小比特数， P帧图像-》参考前项I,P帧运动补偿。， 帧间预测编码B帧，-》用活动图像序列相邻帧之间的相关性，它可以获得比帧内预测编码的多压缩比。 帧内预测编码I帧； sps,pps, MPEG 视频基本码流结构： header, AMR ->文件头标识6个字节，-》音频帧； 数字音频编码：wav, .ape,mp3,wma,m4a,acc ffmpeg->解封装，视频数据：flv,mkv,mp4,mov 压缩音频数据 aac,mp3 压缩视频数据 h264,mpeg2 音频解码 pcm 视频软解码avframe-> yuv, 硬解码 avpacket 像素转换-》yuv->rgb 视频封装格式：MP4,flv,wmv,mov, vlc播放器； 播放器信息查看工具： MediaInfo, 视频封装格式:mp4,flv,wmv,mov, 封装格式作用->视频流+音频流 视频压缩数据格式-》h264,mpeg2, 音频压缩数据格式-》MP3，aac mpeg2-