实时流媒体的现状2022

如果有人在过去的13年里不小心睡着了, 我们可能很容易忽略我们在大规模交付方面遇到的主要问题, 低延迟流媒体视频. 毕竟，在2009年，Roger Pantos引入了第一个规范草案 HTTP直播(HLS). 随着HLS的出现，很容易预见到直播的巨大延迟, 由于需要记录至少三个HLS片段(通常每个片段的长度在4到10秒之间)，然后将其推送给最终用户，因此每个“直播”流延迟40秒以上.

从Windows Media和早期的QuickTime视频会议开始，3-4秒的延迟已经一去不复返了, 取而代之的是使用HTTP服务器而不是专用流媒体服务器的“现代”方法. 2011年，mpeg支持的基于HTTP的动态自适应流媒体(DASH)创建了一个行业标准的HTTP分段流媒体解决方案，取代了大量的流媒体选项, 它没有将延迟降低到合理的水平.

“如果DASH能够帮助将(所有的选择)减少到HLS和DASH,威尔·劳写道。, 他是Akamai Edge技术集团的首席架构师, 早在2011年DASH批准之后, 以及由此带来的趋同, 虽然不是“全部”,在所有级别的媒体链编码器中都是可取的和有益的, 分销商, 播放客户端."

当延迟阻碍通信时

对延迟直播的容忍在2020年初消失了很多, 随着疫情的爆发，我们几乎所有人都在虚拟家庭聚会或商务会议上使用某种形式的实时交付, 我们平衡了各种方式来完成对话，而不必在句子之间等待30-45秒的漫长时间. 回到低延迟意味着放弃2009-2011年时间框架的HTTP流解决方案，而支持更类似于我们在20世纪90年代末和21世纪初的流延迟的东西.

2020年回归实时视频, 虽然有必要在大流行期间能够跨越地理距离进行通信, 并没有真正解决HTTP解决方案能够解决的围绕流媒体的其他主要问题, 即缩放和视频质量.

这些问题的结合不仅仅是试图创建虚拟大家庭聚会的消费者或试图举行互动服务的礼拜场所所面临的问题. 对低延迟的需求冲击了流媒体行业的每个部分, 包括企业, 传媒及娱乐, 体育, 和教育.

低延迟在2021年蓬勃发展

在流媒体连接2021活动期间, 我在“帮助我流”研究基金会的团队公布了“2021年春季流媒体状态调查，包括视频服务交付部门人员面临的主要挑战. 这些数据表明，我们迫切需要解决视频质量、规模和延迟之间的平衡. 三分之一的受访者认为视频质量仍然是他们最关心的问题, 延迟紧随其后(26%)。, 缓冲和可伸缩性并列第三(各占16%). 我们假设最后三个潜伏期, 缓冲, 和可扩展性, 这两个问题构成了58%的调查受访者的首选——实际上是直播时的一个问题.

Rob Gambino是Harmonic的解决方案总监，在流媒体连接活动中分享舞台并指出即使是视频质量也会对视频延迟产生巨大影响. 他说:“就流媒体而言，视频质量是几个不同因素的作用。. “关键是你要花多少时间去看视频并对其进行编码, 哪个会增加从源到屏幕的延迟."

在流媒体连接的主题讨论， Harmonic的Robert Gambino和作者蒂姆Siglin讨论了延迟/视频质量的权衡.

通过花费额外的时间来压缩视频，可以减少缓冲和可伸缩性, 本质上是在较低的比特率下获得更好的质量. 这解决了等式的质量部分，但仍然增加了延迟. 所以问题就变成了一个可以接受的问题，即在减少整体带宽的同时，在任何接近实时的地方都能大规模地传输视频.

2022年初, 很容易假设规模之间的平衡, 延迟, 视频质量可能是不可逾越的，HTTP流媒体将继续主导“实时”事件流媒体. 但事实并非如此, 多亏了去年的一些举措. 让我们来看看其中的一些.

低延迟来自HTTP流

Pantos仍然存在，并且仍然在制定规范草案. 版本23的“Pantos规范”成为了RFC 8216 in 2017, 在征求意见阶段(通常是将规范最终确定为更正式的Internet工程任务组(IETF)标准的最后一步)，没有人反对将HLS用于大规模的按需内容交付.

基于潘托斯过去三年的演讲, 包括两次流媒体西部活动, 很明显，他听到了很多再次修改规范的请求, 这次是为了全面降低延迟. 其中一些请求可能来自MLB Advanced Media, 它由唯一一个非苹果公司的作者组成，他们签署了最初的RFC 8216规范，并提供了许多现场体育赛事, 比如职业棒球和职业曲棍球, 作为流媒体服务. 下一个规范，有时被称为HLS 2.0或HTTP直播第二版, 现在是第十次了吗, 这意味着向低延迟HLS (LL-HLS)的迁移几乎完成了.

将HLS迁移到低延迟的部分动力来自于这样一个事实 DASH行业论坛(DASH- if) 2017年发布了一系列低延迟互操作性规范, 现在被称为低延迟DASH (LL-DASH). 作为THEO的团队, 视频回放技术的提供商, 提醒我们所有人, 然而, LL-DASH只有通过将传统的DASH段修剪得更小才能实现更低的延迟, 非重叠块(通常包含少量帧), 它们都是相互独立的."

LL-HLS和LL-DASH的优点是，对多个段进行编码的初始长时间等待(在实时HTTP流事件开始时)不再重要, 因为原始服务器可以在整个片段编码之前将这些较小的修剪片段发送给播放器. 换句话说, 我们还在被迫发送片段, 只有较小的，需要更高频率的交货确认.

除了, 通用媒体应用格式(CMAF)的可能扩展，包括字节范围寻址，这意味着2021年开始的以通用媒体格式提供LL-HLS和LL-DASH的工作将持续到2022年.

实时超越HLS和DASH

让我们回到实际的实时交付, 虽然, 需要追溯到实时流媒体协议(RTSP). 这种基于标准的协议几乎和TCP/IP一样长，并且一直工作得很好. rtsp——甚至是更新的实时消息传递协议(RTMP)的缺点, 在预测其消亡后的数年里，它仍然被广泛使用——是实时压缩解决方案提供高度时间敏感的视频数据包吗, 因此, 如果没有及时送达，同样的视频很容易丢失.

WebRTC

这就是WebRTC标准在现代实时视频传输解决方案中发挥作用的地方. 的帮助我流媒体研究基金会，作为一家501(c)(3)非营利性研究公司, 提供服务来测试关于许多流媒体解决方案的声明. 我们最近进行的一个测试集中在 Wowza的实时视频流服务在其Wowza流媒体云服务上进行扩展. 我们在2021年10月的基本发现是, 除了少数例外情况, 这个解决方案和宣传的一样有效, 因为我们能够在各种各样的设备上成功地以平均约400毫秒的延迟测试单个发布流.

超出了我们最初基于浏览器的测试, 我们在哪里引入了间歇性网络，并同时在各种网络上进行测试, 我们还可以使用WebRTC和RTMP通过改进的视觉混合软件进行广播, 延迟平均在600毫秒左右. 除了, 延迟足够低, 甚至通过局域网和蜂窝网络, 我们发现音频“反馈回路”的最佳点只存在于模拟声音系统或低延迟数字音频广播中.

实时流媒体领域的一家新公司也是最雄心勃勃的公司之一. Millicast, 流行性感冒的产物, 利用WebRTC进行交互式流媒体体验, 就在本期杂志付印之前, 它是由杜比技术.

HESP

THEO有自己的基于http的解决方案，高效流协议(HESP)，它说它提供了亚秒级的延迟. 跟随多年前Pantos规范的脚步, THEO的Pieter-Jan Speelmans已经向IETF提交了HESP的规范. 日期为11月11日的theo-hesp-01号草案. 20, 2021, 详细介绍了Speelmans和THEO认为优于当前LL-HLS和LL-DASH方法的方法.

THEO创建了自己的超低延迟解决方案，称为高效流协议(HESP)。, 它声称哪个优于LL-DASH和LL-HLS.

不像一些缩短GOP段以实现更低延迟的解决方案, HESP通过使用两个流避免了段过短的缺陷. 第一个是正在交付的主流, 另一个是补充流，被称为延续流. 顾名思义, 在主流丢失的情况下，第二流提供连续性, 类似于当前的低延迟方法.

除了, 通过优化容器格式, HESP联盟声称，与目前的流媒体方案相比，大约可以节省10%的带宽, 同时允许更低的频道转换速度约为100毫秒.

CDN在低延迟流媒体中的作用

考虑到大多数低延迟流，尤其是双向流, 比如那些用于语音或视频聊天的工具，它们本身就不能很好地扩展, 提供大规模实时流所需的组件之一是某种形式的CDN. 我们都熟悉CDN方法的两种基本类型. 一种方法侧重于大量的存在点(PoP)，以便尽可能地提供点播内容或推送现场原创内容，同时仍然保留在优化的网络上，直到从物理上接近最终用户的PoP交付为止. 另一种方法侧重于加强核心网络, 原始服务器主要驻留在这个核心, 以便尽可能多的流请求在源服务器和最终用户之间采用最短路径.

最近的混合方法在两者之间取得平衡, 使用业界所谓的“边缘交付”(如果有计算组件，有时也称为“边缘计算”), 例如转码或身份验证, (在PoP的边缘设备上处理)作为一种加速传输基本流的方法. 许多公司都使用这种混合方法，包括 nanocosmos 和 Phenix实时解决方案.

奥利弗·利茨大约在25年前创立了纳米宇宙, 最初是一家编码公司，为广播行业提供软件开发工具包和编码. “我们现在已经发展成为一家为直播提供自然遗留CDN的服务公司,他说, “我们在全球有许多客户在特定的垂直领域使用它，比如博彩, 投标, [和]i-gaming."

总部位于柏林的纳米宇宙公司在低延迟方面已经研究了十多年, 建立一个CDN，为博彩等互动功能进行调整, 投标, 和游戏.

Lietz指出，低延迟的流媒体允许不同级别的交互性, 包括实时轮询, 投标, 以及音频或视频聊天. “互动性是这个解决方案的关键,他说, “因此，垂直解决方案超越了标准的广播业务."

Phenix认为互动性还包括同步观看派对, 它称之为SyncWatch, 它有两个U.S. 专利(10,601,914美元和10,855,763美元). Phenix声称提供“高质量的同步视频，在广播规模的端到端延迟不到500毫秒。, 世界上任何地方,该公司不遗余力地提醒潜在客户，它的“实时流媒体延迟总是不到半秒，使用凤凰，所有观众都能同步看到内容。."

与Wowza声称的大规模实时流媒体不同, 哪一个。, 如前所述, Help Me Stream研究基金会独立证实, 我们还没有验证Phenix公司声称的低于500毫秒的传输和同步观看. 然而, 凤凰卫视2020年与威瑞森媒体的合作似乎充满希望, 至少在交货时间不到一秒的情况下, 因为这两家公司打算利用Verizon Media的全球网络“为大规模的体育直播提供亚秒级的延迟”，并为实时拍卖活动提供一个平台.

低延迟如何影响视频质量?

在我总结今年的“实时流媒体交付的现状”时,让我们来看看流媒体连接2021关于视频质量的引用. Harmonic的Gambino指出了平衡视频质量(通常会增加计算时间)和延迟(通常会减少处理时间)的好处，他使用了一些关于人类视觉系统(HVS)感知质量的新兴研究. “这里真正伟大的出现是内容感知编码,甘比诺说, “使用机器学习或人工智能等技术来了解场景中发生的事情，并能够确定其中的重要部分, 动态, 加工预算花在哪里."

我乐观地认为，所有这些增强的结合——比如使用上下文感知编码(Context - Aware Encoding)来提高视频质量, 混合CDN方法与边缘交付, 以及基于http的流媒体的更低的整体分段大小，将导致行业大规模交付实时流媒体的能力发生重大变化.