New Codecs Are Coming; Here's How to Evaluate Codec Evaluations

当我们从H.264转VP9, HEVC, AV1, VVC(通用视频编码), 了解编解码器比较的基本原理以及如何评估它们的有效性和实用性是很重要的. 在这个扩展的专栏中，我将讨论这两方面.

评价评价

让我们从如何评估评估开始. 我首先确定评估者和它的从属关系, 给技术的实际用户更多的信任, 比如Netflix或Facebook, 而不是供应商. 虽然他们都是开放媒体联盟, 所以有一定程度的偏见, 一名员工发表了一篇详细说明某种质量水平的论文，他知道在部署的时候，他必须交付这种质量.

在可信度谱的另一端，是由隶属于HEVC专利组织之一的非执业公司编写的报告. 他们实际上并没有大规模使用任何视频技术, 而且他们有明确的经济动机去发现自己的技术优势.

当审查来自研究和技术商店的报告时, 比如莫斯科国立大学(MSU), 我关注的是谁资助了这份报告. 密歇根州立大学的大部分报告都是自己资助的，所以我认为这个地方很有可信度. 如果一份报告是由第三方资助的，我会考虑该第三方的利益.

接下来，我确定实际计算的是哪个版本的编解码器. 记住有多个HEVC和H.264, VP9，甚至AV1编解码器，每一个都有不同的动态. HEVC的支持者声称HEVC参考编解码器是编码质量的真正标准, 虽然这个编解码器没有商业用途. 我倾向于比较市售的编解码器, 尤其是那些大规模使用的, 比如x264或x265, 或在ffmpeg4中交付的AV1.x.

然后我考虑编解码器的版本, 对于那些从测试到发表可能需要几个月时间的进展缓慢的学术论文来说，这是一个令人担忧的问题. 特别是在接下来的几个月里，AV1将发生重大变化, 因此，9到12个月前的评估可能与目前可用的评估有很大不同.

然后看看每个编解码器的编码参数是如何派生的. 我要求编解码器供应商提供编码参数，消除任何偏见或学习曲线. 密歇根州立大学也是如此. 我倾向于不考虑任何没有咨询编解码器供应商的研究.

我还会考虑部署了多少剪辑以及它们的组成. 片段越多越好, 它们在运动方面应该是多样的, 复杂性, 以及真实世界和动画内容.

最后，我将考虑测试者的操作偏差. 例如, Facebook评估了AV1向数百万观众分发视频点播的能力, 哪一种方法可以最大限度地减少编码时间/成本的影响. 虽然对具有类似发行量的出版商很有用, 这些数据对小型生产商来说没有意义，对现场生产商来说完全无关紧要.

一旦你考虑了评估者和研究的谱系和重点, 现在是了解组件和结果的时候了.

研究组件

有两种方法可以分析编码文件——使用实际的查看器或使用客观的质量指标，如峰值信噪比(PSNR)。, 结构相似指数(SSIM), 视频多方法评估融合(VMAF), 或从SSIMWAVE的SSIMPLUS. 客观质量指标的存在是为了预测主观评分, 但主观比较是黄金标准. 然而, 产生主观评价既昂贵又耗时, 这就是为什么我们如此频繁地使用客观指标.

在我的咨询工作和写作中, 我更喜欢VMAF和SSIMPLUS而不是PSNR或SSIM, 但这是我的特殊偏见. 如果你熟悉客观指标，你可能会有自己的偏见. 否则，您应该根据谁在使用它来评估度量. 很明显, 如果Facebook觉得PSNR/SSIM数据无关紧要，它就不会引用这些数据, PSNR在2000年并没有过时.5年前，Netflix停止使用它来驱动其令人印象深刻的编码引擎.

当使用客观度量时，结果通常通过速率失真曲线显示(参见图1). 为了产生这个, 以多种数据速率对一个或多个文件进行编码, 给不同的视频打分, 然后画出结果. 图1显示了使用x265以六种数据速率编码的两个1080p文件的平均结果, VP9, x264, 和AV1编解码器在ffmpeg4.x.

AV1, x265, VP9和x264的速率失真曲线

在回顾利率扭曲曲线时，要考虑两件事. 首先，数据速率是否与编解码器的使用相关? 如果1080p曲线上升到20Mbps, 它可能对实时编码有用, 但视频点播不行, VP9的1080p数据速率在哪, HEVC, 特别是AV1应该是4Mbps或更低.

其次，找到每个特定指标的质量标准. 如果使用VMAF，分数在93分及以上，说明视频没有烦人的伪影. For PSNR, the magic number is 45 dB; with SSIM, it’s 0.95. 以此作为参考, 您可以衡量编解码器在您通常寻求分发视频的质量水平上实际节省了多少带宽.

或者您可以使用BD-Rate结果(图2), 它代表bj ø积分度规, 并计算一个编解码器比另一个编解码器提供的数据速率节省. 这是从图1中显示的相同数据中计算出来的，并预测到, 在图中显示的曲线范围内, AV1将以大约82%的数据速率提供与x265相当的质量, 与VP9的质量相同，数据速率只有69%, 在大约50%的数据速率下，其质量与x264相同.