Netflix推出新的质量指标

昨天, Netflix宣布其新的视频质量度量标准的开源可用性, 视频多方法评估融合(VMAF)是目前研究的热点之一, 说明博客. Netflix现在也在使用这个指标, 它似乎已经取代了Netflix工作流程中的峰值信噪比(PSNR值)等旧方法. 以下是你需要知道的.

为什么Netflix要创建自己的指标?

因为它发现旧的指标并不有效. Netflix视频技术团队一直致力于选择最佳的编解码器和编码参数, 并将最佳质量控制措施应用于他们的视频制作工作流程. 而人的基准是黄金标准, “人工目视检查在操作上和经济上对我们的生产吞吐量是不可行的.Netflix对现有指标的使用受到了阻碍，因为它们并不能“始终如一地反映人类的感知”."

为了证明这一点, Netflix从自己的目录和公开的片段中创建了34个6秒的测试片段. 技术小组以多种分辨率和数据速率输出这些，以产生300个测试片段，他们通过主观测试运行. 然后，他们通过四个不同的客观指标来播放这些片段, PSNR值, 结构相似指数(SSIM), 多尺度FastSSIM, 和PSNR值HVS(人类视觉系统). Netflix发现，“这些指标无法提供能够持续预测观察者对DMOS评分的分数.DMOS是差分平均意见分数，人类在主观测试中获得的分数.

为了开发VMAF, Netflix与Prof. C.-C. J. 郭, 谁是南加州大学多媒体通信实验室主任和电子工程系统院长教授.

新公制是如何工作的?

新的度量标准结合了多个基本质量度量标准，并将它们与机器学习算法融合在一起, 特别是支持向量机(SVM)回归器. 三个基本指标是:

视觉信息保真度(VIF)
细节损耗度量(DLM)
运动

这种方法(至少)在两个方面具有重要意义. 第一个, Netflix在第一次迭代中使用的基本质量度量标准没有被纳入度量标准. 因此，使用这种方法的开发人员可以在VMAF中选择和部署他们自己的基本指标.

第二个, 机器学习算法允许开发人员创建自己的数据集，并“教”算法如何评估特定类别的内容. 所以监控设备的开发者会使用不同于卡通网络的数据集, 这将使用与特纳经典电影不同的数据集.

新指标有多有效?

测试度量的第一次迭代, Netflix divided the 300 test clips into two groups; one used to train the metric, 另一个用于测试度量. 在文章中，Netflix将VMAF与性能最高的传统算法PSNR值HVS进行了比较.

散点图上的每个点表示一个单独的测试文件, 用DMOS分数设置的坐标在横轴上, 纵轴为VMAF/PSNR值HVS评分. 如果分数完全匹配，它们将精确地绘制在每个图表中绘制的红色中心线上.

像这样, 每个图中接近红色中心线的程度表示该指标预测主观得分的准确性. 如你所见, VMAF的结果更紧密地聚集在中心线上, 这表明它有更强的能力准确预测Netflix测试文件的主观分数.

还有什么要做?

Netflix确定了三个悬而未决的问题.

创建一个包含不同观看平台的测试. 例如, 1080p文件在1080p显示器上看可能和4K文件一样好, 尽管4K文件在4K显示器上看起来会好得多. VMAF目前没有考虑到这一点.
颞池. 一个视频有90分钟的高质量和5分钟的低质量可以达到很好的平均分数, 尽管人类观众可能会以不同的方式记住和衡量质量差的部分. 正如Netflix所说, “对较低分数给予更多权重的池化算法可能对人类的感知更准确."
来源资料的一致性. VMAF高度依赖于源文件的质量. 正因为如此, 比较(或总结)不同游戏的VMAF分数是不准确的,根据这篇博文. “例如, 当从SD源生成的视频流达到99分(满分100分)时, 它的感知质量绝不可能与高清编码的视频具有相同的99分."

有趣的是, SSIMplus指数, 这是一个专有的质量指标，Netflix在博客中没有对其进行评估, 已经声称要交付1号和3号, 而且与人类DMOS分数的相关性高于PSNR值. 简单地说,博士. 周王, 原始SSIM算法的开发者之一, 开发了SSIMplus，是应用于 SSIMWave质量体验监视器流媒体综述了 in 2015.

从哪里可以获得开源软件包?

你可以穿上它 GitHub.

为什么VMAF很重要?

就在去年12月，Netflix还依靠PSNR值来推动其业务逐标题优化流程尽管Netflix当时表示VMAF即将到来. 现在VMAF在这里, 其他视频制作人和工具开发者也可以免费使用. 虽然PSNR值不会很快消失, 在接下来的12-18个月里，您应该会看到许多关于VMAF的第三方分析, 包括(希望)与SSIMplus的比较.

与此同时, 如果VMAF被整合到第三方QC和视频质量分析工具中，那将是一件有趣的事情. 如果是的话, 以及VMAF是否得到独立验证, Netflix博客上的这篇文章很可能预示着PSNR值和视频和编解码器基准测试中类似指标的使用开始严重下降.