2017年6月8日
By 1月时特约编辑
专题文章

苹果拥抱HEVC:对编码意味着什么?

从编解码器的角度来看, 在2017年苹果全球开发者大会(WWDC)上，最重要的公告是加入了 HEVC 成 HTTP直播 (HLS). 流媒体的丹·雷伯恩在他的文章中谈到了这一声明对整个市场的重要性, "为什么苹果宣布HEVC是流媒体行业向前迈出的一大步.“你可以从标题上看出，雷伯恩认为这是一件大事，我也同意. 在本文中, 我将从技术角度关注苹果宣布的HEVC及其影响. 我还将讨论HLS支持的新字幕格式, 以及苹果推出的一种新的图像格式.

HEVC在High Sierra (macOS)和iOS 11中的支持

我从WWDC第504次会议中收集了以下大部分信息: “HTTP直播技术的进步，作者是HLS规范的原作者Roger Pantos和Anil Katti AV基金会工程师.

以下是我所学到的. 第一个, 苹果将在High Sierra支持HEVC, 下一代MacOS, 和iOS 11, 这两款软件都将在今年秋天免费升级. 图1 标识所有将与iOS 11兼容的设备.

appleembraces1

图1. 兼容iOS 11的iOS设备

如图所示图2, 苹果将通过硬件和软件解码的结合来支持HEVC, 你应该预料到软件解码会消耗更多的能量，缩短电池寿命. 例如，在戴尔笔记本电脑上进行测试由TechSpot表演在没有硬件支持的情况下播放HEVC时，电池续航时间比H.具有硬件支持的264. 除非证明不是这样, 我预计苹果移动设备和使用纯软件HEVC解码的笔记本电脑的电池寿命也会出现类似的下降. 从积极的方面来说，在HEVC和H.264硬件支持, TechSpot的文章发现，在播放两种格式时，电池寿命几乎没有差别.

appleembraces2

图2. 硬件和. iOS 11和MacOS对HEVC的软件支持

这对哪些设备有影响? 只看iphone, 根据维基百科, iPhone 5s使用的是A7处理器, iPhone 6和6 Plus使用的是A8处理器, 回放将在软件中进行. iPhone 6S机型使用的是A9处理器, 而iPhone 7使用的是A10 Fusion, 其中可能还包括基于HEVC硬件的解码. So, 向iPhone 5s发送HEVC流, iPhone 6, and iPhone 6 Plus will likely significantly reduce their battery life; for newer devices, HEVC应该有最小的影响.

虽然没有列在幻灯片上, 在4点15分的时候, Pantos表示，Apple TV还将进行软件更新，支持HEVC播放, 你能在苹果公司确认一下吗 tvo指南.

另一个不同的演讲，第515节，“HLS创作更新，指出所有的软件和硬件解码器支持主10配置文件，5级.0和High Tier. 本演讲还讨论了HLS规范和相关工具的许多其他更改, 对于任何创建HLS内容的人来说都是值得的. 另一个演示，“我介绍HEIF和HEVC(第503次会议), 由Gavin Thomson和Athar Shah主持, 超出HLS的细节, 苹果的HEVC解码器可以在QuickTime或MP4包装中播放HEVC编码的视频.

其他HEVC实现细节

图3 介绍几个附加的实现细节. 首先，也是最重要的，HEVC必须封装在苹果采用的碎片化MP4格式在去年的WWDC上，它在HLS中增加了对通用媒体应用格式(CMAF)的支持. 第二个, 苹果将继续使用CBC(密码块链)加密, 谷歌在Widevine中采用的是什么, 但到目前为止，微软还没有在PlayReady中这么做. So, 而你可以重用你的编码fMP4片段的DASH和HLS, 您仍然需要两个加密内容的传递有效载荷—一个用于CBC, 另一个用于PlayReady中使用的计数器模式(CTR).

appleembraces3

图3. 其他实现细节

幻灯片的其余部分处理HLS清单文件中HEVC编码内容的通知要求, 这很简单.

混合HEVC和H.264在主播放列表

图4 详细介绍了如何结合HEVC和H.由主播放列表文件定义的单个HLS演示. 如你所见, 您可以在单个播放列表中混合使用这两种编解码器，就像您可以使用不同的H.264年资料. 关键的要求是按照上面讨论的方式指定编解码器(就像在混合H.264配置文件).

从本质上讲，这意味着玩家必须无缝地从玩H切换.264 encoded video to HEVC encoded video; it will be interesting to see how smoothly this works, 特别是在使用软件解码的设备和计算机上.

appleembraces4

图4. 混合HEVC和H.264在主播放列表

注意，不像HEVC，它必须是fMP4, H.264 HLS内容可以格式化为碎片化的MP4文件或MPEG-2传输流. 这意味着你不需要将你的流与HEVC混合, 一个很好的便利因素. 最后一行详细说明了苹果公司更新了HEVC的HLS创作指南(官方文档名为苹果设备HLS创作规范). 让我们看看更新后的指南是什么样的.

40%? 谁说的40%?

图5 显示新的编码阶梯, 有趣的是，最高的比特率节省为29%，而苹果在多个会话中一直没有达到40%的数字. 同样有趣的是，苹果还没有将其标准扩展到1080p以上, 尽管iPhone 7和许多其他设备都支持4K播放.

appleembraces5

图5. 来自Apple HLS创作规范的更新编码阶梯

不管. 你应该能够在1080p分辨率下节省35-50%，在720p分辨率下节省30-40%. 除了这些决议，H.264从来都不是一个好的选择，所以比较是没有用的.

字幕怎么样??

苹果还推出了对IMSC1的支持 w3c推荐标准用于为流传输优化的TTML标题, 是CMAF的基本字幕格式. 这也是强制性的可互操作的主格式规范像Netflix这样的内容发布商所承诺的.

根据苹果的文档, IMSC1标题作为XML文本在fMP4片段中携带, 并在主播放列表文件中标识. 请注意，IMSC1捕获是HLS已经支持的WebVTT字幕的补充, 不是代替.

HEIF是什么鬼东西?

在上述题为“介绍HEIF和HEVC”的演讲中,苹果还推出了一种名为“高效图像文件格式”的图像格式, 或HEIF, 哪个图像标准是由运动图像专家组(MPEG)为存储和共享图像和图像序列而制定的. 就像你看到的图6, 苹果使用的HEIF格式使用HEVC压缩, 哪个演示者状态提供比JPEG高2倍的压缩.

appleembraces6

图6. 有关新HEIF格式的详细信息

Support f或HEIF image decode looks a lot like HEVC decode; that is, 使用A9芯片和(可能)更高版本的设备的硬件, 还有其他所有人的软件. 这引起了两个问题. 第一个, HEIF解码器需要支付版税, 虽然可能, 苹果已经在自己的更新中解决了这个问题. 其次，HEIF图像将是一种专有格式，您不能轻松地共享或利用它. 可能你首先必须用苹果提供的或其他解码器将图像解码为JPEG，以便在苹果生态系统之外使用它.

关于版税

根据多份报告, 苹果目前拥有约2500亿美元现金, 所以它当然能负担得起与HEVC相关的版税. 有趣的是，苹果公司被列为许可方(和许可方) MPEG - LA池，但不是作为持牌人 HEVC预付款池. 我检查了HEVC Advance, 这证实了苹果目前并不是授权方, 不过他们希望苹果发布更新后情况会有所改变. 最新的游泳池，来自 Velos媒体但该公司尚未确定条款.