2019年4月15日
By Jan Ozer 特约编辑
专题文章

NAB 19编码和QoE亮点:这是重要的

每年我去NAB的时候，并没有任何与产品相关的期望. 我的日程安排杂乱无章，没有条理分明, 那里挤满了我想见的公司和朋友，还有一些公司的营销人员很积极，碰巧在合适的时间打电话来. 再加上我有几分钟的时间在展示厅吸引我眼球的随机公司. So, 这是“Jan在NAB上看到了什么”，而不是在展会上“所有重要的流媒体相关进步”.

Everyone who knows what an encoding ladder is should read the first section; thereafter, 我把这些技术分成几个部分，这样你就可以快速浏览一下，看看哪些可能与你相关. 我希望这对你有用.

下一个大事件

12月14日, 2015, Netflix通过引入每个标题的编码，废除了固定的编码阶梯, 它会根据每个视频的独特内容创建一个特定的阶梯. At NAB 2019, 逐标题编码被上下文感知编码的概念所淘汰, 它结合了视频的独特内容以及网络和设备使用统计数据来创建一个阶梯，根据观众的实际观看方式来优化每个视频的质量. 上下文感知编码可以减少编码, storage, 而带宽成本和观众体验质量的提高.

这个概念很简单:QoE信标和网络日志提供诸如查看器的有效带宽之类的详细信息, 他们用来看视频的设备, 以及在编码阶梯上的观看分布. 您的编码阶梯应该考虑这些数据和内容.

第一个将这个概念产品化的是 Brightcove及其上下文感知编码 (CAE). 在一份名为优化大规模多屏视频传输, Brightcove的作者为同一视频为三个不同的运营商创建了一个编码阶梯, 第一个主要面向手机用户, 第二类主要面向PC和电视观众, 第三种是专门通过电视观看高带宽的观众. Figure 1 显示为每个操作符创建的编码阶梯，同样是针对相同的内容.

Figure 1. Brightcove的上下文感知编码(CAE)基于设备和网络统计为相同的内容生成三种不同的阶梯.

本文将这些阶梯与推荐的HLS编码阶梯进行了比较苹果HLS创作说明和说明了三个定制的梯子如何减少场景的数量和整体存储空间, 以及减少带宽和/或提高体验质量. 它为CAE提供的价值描绘了一幅引人注目的画面.

Brightcove已经部署CAE一年多了, 在NAB工作期间, 至少有两家公司——epic Labs和mux——透露了他们的类似想法. Epic Labs在一款名为 LightFlow 并且至少有一个高容量用户，Mux补充道自适应编码到它的编码栈.

Figure 2. 带宽和设备数据反馈到Epic实验室的LightFlow系统.

有关Brightcove和Epic Labs产品的更多信息，您可以观看我对 Epic Labs的创始人兼首席执行官Alfonso Peletier说.

您现在可以用现有的编码工具和工作流程做些什么? 除了和这些公司签约, 您可以仔细查看查看器最常用的设备分辨率，以及通常使用的编码阶梯的等级, 然后做一些常识性的调整. Many, 许多主要服务于北美的组织, Europe, 远东国家会发现他们的大多数观众都在看前两三个流媒体，他们可以从梯子的底部削减一到两个梯级，而不会降低QoE. Conversely, 对于那些主要服务于低比特率观众的人来说，最好将大部分梯级集中在这个范围内的观众. 快速浏览一下图1可以为这些工作提供指导.

在我看来, 以任何名义, 将网络和设备数据整合到编码阶梯公式中是我在NAB看到的最重要的技术. 但也有许多其他亮点. 这里有一个简短的概要.

推奇到底在搞什么鬼

Twitch.tv是一家进步且非常成功的运营商，通过为我们的文章做出贡献并在我们的会议上发言，它非常亲切地与流媒体观众分享其专业知识. Twitch的明星之一是首席(7级)研究工程师Yueshi Shen & 工程经理. 在一次采访中，岳石分享了 Twitch计划采用VP9和AV1, 以及为什么恒定比特率编码在向成千上万的现场观众进行流媒体传输时是绝对必要的.

在VOD编码前端

我开始我的NAB与Telestream讨论 Vantage Cloud端口和市场总监肯·哈伦. 在高水平上, 该端口使Vantage客户能够部署许多以前只能在内部部署的工作流直到云端这是一个关键的好处，因为越来越多的公司将中间资产存储在云中.

在我的下一站Capella Systems，我讨论了 Cambria FTC这是该公司的旗舰VOD编码器. 像Telestream, Capella为Cambria添加了云功能, 特别是启动运行Cambria的AWS实例并将编码分发到这些实例的能力，就像您在本地编码场上运行任何其他Cambria实例一样. Capella创建了用户在Cambria中启动和控制的AMI预设. 它非常适合将溢出编码需求推到云端，同时以最经济的方式将正常负载编码到现有系统.

另一个新特性是能够导入基本流并将其打包为DASH或HLS格式. 这允许生产者对其内容进行一次编码，并根据需要对其进行打包，以满足其他发行目标. 这个两步编码-然后打包的工作流程, 是否比对每种输出格式从头开始编码更有效.

周三，我参加了面试 Encoding.网站创始人兼首席执行官格雷戈里·海尔说. 除了讨论最近发布的全球格式报告, Heil强调了编码和解码Apple ProRes等新功能, 能够输出杜比视界, and 可笑的HLS，它将源文件分割成更小的段以加速编码. 与上面关于每个上下文的讨论形成一个有趣的对比, 采访结束后，我问Heil为什么要编码.Com还没有提供按标题编码. 他回应道，虽然每个游戏都在他们的路线图上, 这在他们的用户中并不是一个要求很高的功能.

我与AWS Elemental短暂会面，讨论AWS MediaConvert的加速编码, 像编码.com的滑稽HLS, 将视频分割成块馈送到多个编码器，以加速编码高达25倍.

我还与cloud-encoder的首席执行官Murad Mordukhay进行了交流 Qencode该公司提供按标题编码的形式，定价极其激进，比如0美元.SD编码每分钟004个. 该服务支持所有相关的输入和输出格式, 包括AV1, 任何寻求云编码设施的公司都值得一看.

基于硬件的编码和解码

硬件转码是我感兴趣的一个话题，因为我将在流媒体东部上谈论这个话题. NETINT是一家提供高密度解决方案的公司展示了Codensity T400视频转码器基于公司自己的 Codensity G4 SSD控制器SoC (片上系统)，能够扩展H.264/H.265转码最多单个4K/60p或8x 1080p流. Codensity芯片采用了目前在许多企业级存储服务器中常见的NVMe连接，以实现高密度解决方案.

我还会见了Anil Saw，产品策略顾问 Softiron他展示了他们的高密度HyperCast编码器，该编码器是围绕Socionext的MB86M30 soc构建的. HyperCast可以在1RU的形式中支持多达32个soc, 每个SoC可以编码多达一个4K60流或四个1080p60流, 每个有多达六个视频和两个音频输出. NETINT和Softiron都瞄准了电信、有线、卫星和云视频服务提供商.

NGCodec开发、推广和销售基于赛灵思fpga的硬件编码器. At NAB, NGCodec演示了实时HEVC和AV1转码，他们声称比其他基于硬件的H提供了30%的压缩效果.265和VP9编码器. 请注意，这是由 Twitch TV 一些基于硬件的VP9转码.

AV1实时编码是一种技术预览，仅支持i帧. HEVC的双密度编码也是新的，它使每个FPGA的输出容量增加了一倍. NGCodec编码作为一项AWS服务可用，使其具有很高的可访问性. 我和公司总裁Oliver Gunasekara谈过，得到了一些信息坦诚的评价关于新宣布的英特尔/ Netflix的SVT / AV1 codec.

同样在硬件方面，Beamr也表现出色硬件加速CABR (内容自适应比特率编码)基于英特尔图形技术GPU. 在高水平上, Beamr将自己的速率控制机制插入到英特尔GPU的HEVC编码管道中, 所以beam做速率控制，而Intel CPU做HEVC编码. 这加速了波姆的 content-adaptive 编码性能，但质量可能无法与Beamr自己的基于软件的HEVC编码器的质量相匹配.

有趣的是，英特尔似乎正在用它的 SVT-AV1 公告以及相关的HEVC、VP9和H.264 codecs. Beamr正在进入这个领域，应该能够扩展 content-adaptive 功能的任何GPU, CPU, FPGA，或其他硬件与H.264或HEVC编码通过Beamr CABR SDK.

上述所有公司都使用硬件进行发行编码. 在贡献方面，我采访了LiveU工程副总裁Daniel Pisarski HEVC在LiveU生态系统中工作以及何时5G将成为贡献的关键. 简单地说，HEVC很快就会成为LiveU用户所青睐的格式, 尽管所有的传输都必须通过LiveU的云服务，在那里信号从设备上的各种调制解调器组装而成, 转码为H.264，并传送到最终目标. 皮萨尔斯基预计，5G将在未来12至24个月内变得重要起来.

质量和QoE监控

SSIMWave是SSIMPlus指标的开发者, 用于VOD和实时监控的功能强大且轻量级的度量, 并提供卓越的设备支持. 在NAB会议上，我了解到公司参与了 ASC运动成像技术委员会HDR评估工作组. 目标是评估在HDR制作工作流程中使用的不同技术和格式如何保持“原始创意意图”,以及“校准HDR的SSIM +结构相似性视觉感知质量度量”, wide-color, 超高分辨率视频材料，基于专业摄影师和色彩师的反馈，他们制作和色彩等级这些材料.”

In essence, 通过这些金眼睛的输入, SSIMplus将“训练”HDR输出的准确性, 是什么让它成为HDR制作的选择指标. 为HDR评估创建的几个源/编码比较屏幕已经进入了SSIMWave零售产品, 包括一个很棒的屏幕，用于比较源和编码输出之间的颜色相关差异.

我和来自QoE供应商的人度过了愉快的30分钟工作中的好人他们似乎总是名不虚传. 我和乔纳森·希尔兹谈过了关于NPAW产品线，包括他们的防流失和CDN切换工具的视频. 我们还花了一些时间讨论哪些视频发行商已经采用了QoE解决方案, 这些还没有发生，但应该发生. Basically, 希尔兹提出了一个强有力的证据证明视频对行动至关重要, 那么QoE应该是, as well.

完成了

还有几家一次性的公司，它们的产品不能完全归入任何类别. 其中之一是Mediamelon，他的 SmartPlay流是一种交付端每标题优化器. That is, 该服务测量ABR组中的流的质量，只有当它确实提高了观看者所感知的质量时才分配更高带宽的流. So, 简单的场景可能以1080p@3 Mbps的速度被检索，而更高的动作场景将以1080p@5 Mbps的速度被接收. 该系统还可以提前下载复杂场景的视频，以避免在受限条件下缓冲较大的片段.

我们审核了产品以QBR的名义. 虽然QBR工作得很好, it had one severe limitation; it only worked when all the rungs in a ladder were encoded at the same resolution, 哪一个与大多数推荐的方法相反. 这个问题很高兴得到了解决, 该公司还进一步完善了用于衡量编码阶梯中流质量的内部度量标准.

That metric, 叫做MediaMelon iMOS, 运行速度快于实时, 这很好, 但我想知道分数与VMAF的接近程度, 我最信任哪个指标来评估完整的编码阶梯. MediaMelon提供的比较如 Figure 3，这表明这两个指标之间存在合理的相关性. So, 如果你相信VMAF的话, iMOS应该能很好地预测你的观众实际会看到的质量, 这意味着SmartPlay流媒体应该有效地为您工作.