2023年4月12日
By 1月时特约编辑
专题文章

视频编解码器的现状2023

W欢迎来到2023年的编解码器更新. 我是来帮你决定是否该把所有的钱都投入到AV1上, VVC, LCEVC, 还是EVC，还是继续用H更好.264、VP9和HEVC. 作为概述，我将重点关注编解码器实用程序的四个方面:

你能使用编解码器吗? 如果编解码器不能在目标平台上播放，就不能使用它. 所以，我们先回顾一下这些数据.
应该使用编解码器吗? 你不应该使用编解码器，除非它能带来实质性的好处，比如比你现有的编解码器节省带宽. 所以，我们接下来将研究这个.
如何使用编解码器? 如果一个编解码器在你的目标平台上运行，并提供了实质性的好处, 它仍然可能无法用于您选择的应用程序, 无论是低延迟, 实时生成和转码, 或HDR. 因此，我们将检查每种编解码器对这些不同角色的适用性.
使用编解码器的成本是多少? 我们还会讨论版税.

一路走来, 我将包括2022-2023年的更新，以确定自去年以来发生的重大变化.

你能使用编解码器吗?

从体育界来看，最好的编解码器能力是可玩性. 表1(下) 重点介绍了这方面的几个方面.

质量和编码时间

表1. 以x265为基准的质量和编码时间

第1列显示了支持编解码器的可用平台的百分比我可以使用吗?, 哪个“提供最新的浏览器支持表，以支持桌面和移动web浏览器上的前端web技术?.“虽然可以绕过这种本地支持, 大多数小型发行商都选择了简单的方法，即在能够获得原生支持的地方发行游戏.

到目前为止，2022年最重要的举措是 Chrome开始支持HEVC. 然而, Chrome的HEVC播放有问题, 仅适用于HEVC硬件支持和有限的DRM支持的设备. 不过，对于不使用DRM的出版商来说，Chrome中的播放将HEVC支持推到了84.57%，比AV1高约12%.

这是AV1的优势, 顺便说一下, 很大程度上要感谢开放媒体联盟(AOMedia)的创始成员苹果, 在任何平台上都不支持AV1. 2022年有传言说苹果开始支持AV1. 然而，正如Bitmovin的一篇优秀文章所报道的那样， AV1播放支持状态:2022, 而他们最近发布的M2处理器不支持AV1硬件解码, 它有望提供某种形式的软件加速解码.这样，我可以使用吗? numbers就显得有效了.

关于我可以使用数据的几点:VVC还没有列出, 这意味着很少或根本没有平台支持. 考虑到我基于i7的工作站上相对较慢的帧速率, 在短期内，纯软件播放不太可能成为VVC的现实. 作为对位, 然而, 几个VVC专利所有者已经在移动电话上部署了VVC，并报告了更高的帧率.

即使假设VVC软件的可行性播放性能, 缺乏原生浏览器和操作系统的支持仍然会造成大多数发行商无法解决的授权问题. 这是因为VVC专利池针对的是编码器和解码器供应商, 不是内容所有者. 所以，在解码器供应商支持VVC之前，你不能将内容传送到这些设备上.

相比之下，LCEVC出现得更多而不是只支持软件播放，其皇室的政策允许发行商授权LCEVC并在所有平台上部署适当的解码器. 像这样, 而我可以使用吗? numbers报告的缺乏平台支持可能是VVC/EVC部署的障碍, 它不适合LCEVC.

为什么硬件解码很重要

现在，让我们看看移动硬件支持. 几家amedia成员(不包括苹果)已经在移动设备上部署了AV1用于软件播放. 例如, Meta开始将av1编码的视频分发到iOS和Android手机，但必须实现一个测试协议以确定哪些安卓手机可以流畅地播放流媒体.

在一篇名为利用LCEVC改进SVT-AV1，改善质量周期权衡，提高VOD转码的可持续性，作者说明了为什么需要测试方案. 具体地说, 在一系列Android设备上进行测试, 作者证明，使用软件纯AV1播放具有公认的60fps的El Fuente序列时，帧丢失率很高 (图1). 使用带有AV1的LCEVC作为基础层提供了更流畅的播放. 文章中的其他数据显示AV1播放比LCEVC/AV1播放和AV1播放更快地消耗电池寿命, 大概, 基于硬件的回放.

av1的播放性能

图1. AV1和LVEVC/AV1在一系列Android设备上的播放性能

这篇文章显然是为了证明使用AV1作为基础层的LCEVC是比AV1更好的选择, 它似乎是这样做的. 然而，在2023年初， ScientiaMobile 发布了一个报告显示出86.6%的移动设备支持基于硬件的HEVC播放，而只有2%.52%支持基于硬件的AV1 (图2, 下图).

Hevc vs av1采用

图2. Scientamobile的数据显示，HEVC硬件回放在86年是可用的.6%的移动设备，相比之下2.AV1为52%

这一数据为发行商提供了两种与手机相关的选择. 首先是实现AV1，它有三个注意事项:

它需要一个测试协议来识别
哪些设备可以流畅播放AV1.
与硬件播放相比，它将缩短电池寿命.
它需要一个iOS应用程序.

另一种选择是实现HEVC，它比AV1有三个优势:

它将在所有具有硬件播放的设备上工作.
它将延长电池寿命.
它将在iOS和Android的浏览器中播放
或者，当然，在任何一个移动操作系统的应用程序中.

HEVC内容版税妖怪怎么办? 我将在最后一节讨论这个问题.

部署到智能电视

H.264、HEVC和VP9几乎普遍支持客厅设备. 就像我报道 in 视频编解码器的现状2022, 对这些设备的AV1支持足以让Netflix开始将AV1分发到客厅, 虽然没有HDR支持.

再一次。, LCEVC可以作为纯粹的软件升级部署在一些客厅设备上, 但是VVC和EVC需要硬件支持, 哪些需要3-5年的时间才能发展成一个值得关注的市场. 在这方面，VVC比EVC取得了更大的进步，有了支持VVC的电视宣布在IBC和VVC补充道到LG的webOS智能电视 8K超高清型号规格(除了AV1和HEVC). 正如我在去年的“视频编解码器的现状”中所报道的那样,VVC似乎是智能电视的“下一个编解码器”，因为它被包含在 DVB核心规范以及被新选为“主要”编解码器巴西电视台.0. 注意电视3.0还包括LCEVC作为视频增强编解码器.

表1中的最后两列总结了来自 Bitmovin视频开发者报告. 倒数第二列显示了2022年VOD/live的部署情况, 最后一栏显示了2023年VOD/live的计划部署. 调查参与者来自流媒体生态系统中的众多公司, 不仅仅是出版商, 这就解释了为什么像VVC和EVC这样的编解码器在出现大量可用播放器之前就被部署了. 仍然, 看到像EVC这样的编解码器是有用的, 哪些似乎没有什么动力, 是否在一些生态系统供应商的雷达上.

节省带宽

下一个, 让我们来看看是否应该使用编解码器，以及它是否提供了足够的带宽节省来证明部署成本是合理的. 表2(下) 显示具有三个信息源的选定编解码器的比较质量数字.

编解码器适合不同的编解码器任务

表2. 编解码器适合不同的编解码器任务

第一个专栏来自莫斯科国立大学(MSU)的MSU视频编解码器比较2021报告, 当你读到这篇文章的时候，哪一个可能会更新. 请注意，MSU审查来自多个来源的多个编解码器, 包括商业上无法获得的百家乐软件，以及一些只能通过云编码设施访问的百家乐软件. 这使得报告成为整体质量的一个很好的快照, 但不一定是你自己能生产出来的质量. 表2中显示的数字反映了使用视频多方法评估融合(VMAF)度量的质量比较.

的流媒体这些数字来自我在2021年12月写的一篇文章编解码器测试比较，它也使用了VMAF. 我使用FFmpeg编解码器生成H.264 (x264), HEVC (x265), 和AV1 (libaom-AV1), 所以这些结果对于大多数生产者来说都是可以实现的. 本文中列出了其他编解码器的来源. 我混合了VP9的结果 Bitmovin的HEVC vs. VP9:现代编解码器比较, 因为MSU测试的是SVT-VP9而不是FFmpeg的libvp9, 结果很糟糕, 因为我没有测试VP9 流媒体 article.

所有数据表明:

继续使用H.从带宽的角度来看，264的成本至少高出50%.
VP9和HEVC在质量上基本持平.
AV1的效率比HEVC高35%-38%.
VVC比AV1效率高3%-5%.
LCEVC的质量会因基层而异.
的流媒体测试表明，以x265作为基础层的LCEVC的效率比x265高22%左右.
EVC基线编解码器，设计为H的免版税选项.264，被证明比H.264.
EVC主编解码器, 旨在以较低的版税与HEVC竞争, 表现非常好, 证明比x265的效率高42%, 虽然编码速度很慢.

请注意，这些都是顶级节省，实际的带宽节省将取决于您主要分布的编码阶梯的哪个梯级. 例如, 如果你是一个IPTV(互联网协议电视)服务，为99%的观众提供编码阶梯的顶端, 从HEVC切换到AV1应提供接近指示的35%-38%. 然而, 如果您将编码阶梯的大部分中间梯级分发给移动观众, 切换到更高效的编解码器将把2Mbps的HEVC流换成2Mbps的AV1流, 产生更高质量的视频文件，但没有节省带宽.

如何使用编解码器?

仅仅因为编解码器在面向vod的试验中提供了大量节省，并不意味着它适合其他编码任务. 表3(下) 包含几个常见的编解码器用例，并评估每个编解码器的适用性.

每个编解码器的版税政策

表3. 每个编解码器的版税政策

当我提到“现场创作”时,我是说专业, 主要是基于硬件的编码器广播, 而不是单实例的基于gpu的编码器试图发送单个流到Twitch. H.264拥有最多的硬件支持, 其次是HEVC和AV1, 它现在拥有几个来自英特尔等供应商的实时编码器, NETINT, 和英伟达. 很少有供应商支持VP9发起或转码.

LCEVC评价很高，因为V-Nova, 它的主要开发者, 长期以来一直提供编码器贡献，并获得了硬件支持多个编码供应商，包括AMD、Intel、Harmonic和NETINT. 相比之下，VVC已经很少支持而EVC没有.

实时转码列类似于实时生成. H264和HEVC得到的支持最多，其次是AV1和LCEVC，而VCC和EVC则远远不够.

对于低延迟，我考虑了技术可用性和实际的现有部署. H.264是用于自适应流媒体的主要低延迟编解码器，而H.264和VP9被广泛用于webbrtc. HEVC和AV1对于具有广泛硬件支持的低延迟应用程序当然是可行的，但目前还没有被广泛使用. 低延迟对于LCEVC是可行的，但没有广泛使用，在会话中既没有VVC也没有EVC.

4K列反映了压缩效率，应该是直接的. 除了H.264, 哪个会因为压缩效率而降级, HDR主要关注对动态元数据标准的支持，以及可用播放设备的成熟度和范围. 通过这些措施, 到目前为止，HEVC是HDR的最佳选择, 在杜比视界的支持下, HDR10 +, 以及HLG和几乎无处不在的播放支持.

除了YouTube之外，很少有制作人使用VP9来制作HDR, 但这种使用水平使VP9进入了非常好的范围. 除了VP9之外，了解任何支持ITU-T的10位编解码器.35元数据可以支持HDR10和HDR10 +，虽然杜比视界的支持仅限于HEVC和H.264. 因此,尽管 AV1技术上支持HDR10 +在美国，当Netflix开始向智能电视分发AV1视频时，情况的确如此特别提款权只有. VVC, LCEVC, 甚至EVC都可能在技术上支持HDR10 +, 但很少有智能电视支持这些编解码器.

使用编解码器的成本是什么?

对于成本问题的简单回答是，如果你是一家发布免费内容的视频发行商, 你唯一需要支付许可证的编解码器是LCEVC(这是一件好事). 虽然H.264对按次付费收取少量费用, 订阅, 或者电视广播, 访问之前对在物理媒体上发布的VVC和hevc编码视频收取较低的版税, 其余的专利池都没有对免费的互联网视频收费. 这包括HEVC(见专利代理人) 罗伯特J.L. 摩尔的评论).

表4(下) 提供关于不同池如何以及如何对编解码器的使用和部署收费的高级概述. H没有改变.264, 一旦获得每个编码器/解码器超过100的收费,000个单位, 还有小额订阅费用(同样超过100美元),000美元)或按次付费内容和免费电视发行, 但免费的互联网内容并不适用.

Sisvel已经专利池 VP9和AV1只在消费设备上收费, 没有版税的编码或内容. 谷歌似乎对VP9百家乐软件池存在争议 WebM的FAQ页面, “虽然开源, 免版税和/或免费技术被广泛提供, 没有办法阻止第三方对这些类型的技术收取许可费.”

amedia也发表了类似的模糊评论该公司在信中承认，它知道西斯维尔游泳池的存在. 讨论了AV1的目标和程序, 但没有说明Sisvel的说法无效. 如果Sisvel的声明被证明是有效的，Google和AOMedia都不会赔偿任何用户, 尽管amedia确实建立了一个专利辩护基金.

在HEVC方面，2022年，Velos媒体池关闭，留下了HEVC 一旦获得和访问之前池. 显著, Velos Media是唯一一家对免费内容收费的公司, 因此，它的关闭应该消除了这些担忧中的最后一个. 也就是说, Velos Media继续直接授权约400项专利, 网站上关于版税的细节很少, 和它的主人, 马可尼过去曾主张内容版税. 当被问及, Velos Media和Marconi都不愿提供Velos Media项目的细节，也不愿透露他们是否计划对内容收取版税. 剩下的两个池子, 一旦获得编码器和解码器收费超过100,000个单位，但没有内容. 存取编码器和解码器的预先收费, 对通过磁盘或其他媒体传输的hevc编码视频收取少量费用.

MPEG LA和访问之前都有VVC池. MPEG LA 再一次对硬件和软件收费超过10万套，但不包括内容. 访问之前再次对编码器、解码器和在物理介质上传输的vvc编码视频收费. 访问之前还提供了一个多编解码器桥接协议，降低了两个池的被许可方的综合版税费率.

其他池在哪里许可编码器和解码器, V-Nova, 作为LCEVC的主要开发者, 对实际使用编解码器的流媒体服务收取较低的每用户费用，编码器和解码器供应商免费. V-Nova的版税涉及不同类型实体的不同价格, 比如订阅和广告服务以及“电视无处不在”, 所有的上限是3美元.每年700万.

正如前面提到的, 如果你是考虑LCEVC的发行商, this structure is a good thing; for one low payment, 您可以授权所有可能的编码器或解码器. 与此形成鲜明对比的是, 那些寻求使用其他编解码器的人将不得不为每个解码器支付单位版税, 对于大型服务来说，哪一种成本过高.

截至2月中旬撰写本文时, 拥有知识产权的专利所有人被并入evc -三星, 华为, 和高通尚未公布版税条款.