实时流媒体的现状2023

去年是一个转折点，组织现在更倾向于提供直播. 这是我们组织最近的一项调查得出的关键结论之一, 帮助我流媒体研究基金会, 为流媒体杂志和调查赞助商Phenix Real Time Solutions做了什么. 这项名为“实时流媒体的商业价值”的2022年末调查(go2sm.com/realtime), 还发现，实时流媒体的感知商业价值与年收入高于平均水平和同时观看人数的组织直接相关.

在本文中, 我们将看到2023年几个月后的实时流媒体状态, 包括一些持有长期承诺的用例. 但在此之前, 这是实时流的基本定义, 正如调查中使用的:实时流媒体是“以每个用户不到500毫秒的速度向数十万观众同步传输设备”.”

我们将在本文的其余部分看到, 两个概念——降低玻璃杯到玻璃杯的交货时间, 从相机图像采集到终端用户观看屏幕, 以及跨多个设备的同步, 尤其是那些彼此听得见的人——是高度交织在一起的.

降低延迟的用例

在流媒体连接2023会话期间(go2sm.com/zerolatency)，一个由来自欧洲和美国的行业资深人士组成的小组.S. 讨论了实时流的几个用例. 我鼓励读者观看小组会议，但会触及一些突出的用例.

Sports

当讨论低延迟流时，一个立即浮现在脑海中的用例是体育. 写这篇文章的时候，第7届超级碗刚刚在亚利桑那州的格伦代尔举行.全球约有1.3亿观众. 据估计，有700万人通过流媒体观看了这场大型比赛, 尽管凤凰网推特上的图片显示(bit.ly / 3 jjnbxi)，客户有时可能会在多个设备上观看. “我们最新的#超级碗潜伏期研究出来了! 体育迷们看到了60多秒的延迟，”推特说. “什么时候#体育媒体将优先考虑#粉丝参与??? Phenix delivers video in <1/2 sec to millions around the globe; there’s no reason #SBLVII fans shouldn’t enjoy the same!”

凤凰城的推文揭示了一个假设——也许是准确的, 更有可能不是——大多数球迷希望他们的体育赛事以尽可能低的延迟送达. 然而，这个前提有两个主要缺陷. First, Phenix和其他“实时解决方案”试图解决的问题——至少基于其热门的超级碗LVII延迟报告的公开可用数据——不是延迟，而是同步交付, 在我们对实时流媒体的调查定义中提到了这一点，但在凤凰的推特中没有提到.

我将在本文后面深入研究各种同步方法, but let’s touch briefly on another aspect of the very nebulous methodology Phenix uses to claim superiority for its technology in the Super Bowl LVII report: The methodology does not actually compare the Phenix solution to over-the-air (OTA)—a baseline that would be expected for a company claiming in its tweet that it “delivers video in <1/2 sec to millions around the globe”—but rather compares streaming services against each other.

超级碗2023测量滞后实时

Second, 最基本的事实是，现场直播的每个人都知道，像超级碗这样备受瞩目的现场直播活动实际上并不是实时转播的. “在与这些网络的工作人员交谈时, 它通常在4-10秒[范围],洛克·杜邦说, 他是丹麦TV 2的解决方案架构师, 在流媒体连接2023面板期间. “因此，即使在传统的广播网络中，也肯定存在延迟.”

In the U.S., 广播有三点延迟:插入图形, 监视不能在广播电视上播放的单词——通常被称为“转储按钮”——以及实际传输到发射塔或卫星上行链路，以及最终用户观看设备的额外延迟. 总的来说，这增加了大约8秒的整体玻璃到玻璃延迟.

现场活动延迟

那么，体育产业在降低延迟方面的进展如何呢? 马格努斯Svensson, Eyevinn Technology的媒体解决方案专家, 在小组会议上指出，最近欧洲和北美的体育视频会议采取了慎重的方法. “到目前为止，我在行业中听到的是，我们仍然优先考虑质量和稳定性，而不是延迟,他说. “So, 大多数观看体育赛事的观众都希望它是好的, 高品质时尚又稳定, 没有缓冲之类的.”

斯文森和杜邦指出，在公共互联网与优化视频网络之间进行传输时，两者之间存在重大权衡. “互联网, 当然, 它的设计方式与你在有线电视网络中工作的视频分发方式不同,杜邦说。. “当然, 用最好的方法, 你可以这样设计它，而不需要在某处设置几个缓冲来保证可靠性. 但当我们谈到互联网时, 在到达用户的路上有很多跳跃，这可能会延迟流.”

因为互联网的最大努力并不是集中在视频传输上, 调整以优化延迟会产生意想不到的后果. “你越能开始压缩延迟, 缓冲带来的风险越大，视频质量越低,斯文森说.

Sportsbook

随着美国主要体育联盟的持续推动.S. 提倡在他们的赛事上下注，美国足球协会.S. 是在追随欧洲的先手，为赌场和其他迎合体育博彩的场所提供低延迟流. 传统上，体育赛事是通过卫星视频广播传送到体育博彩或赌场场馆的, 它本身具有上行链路固有的延迟, pro-cessing, 以及随后的卫星传输视频下行. 然而，延迟通常只有2秒或更少, 与传统的流媒体单播方式相比，卫星具有多播的优势，可以发送数千人可以接收的流媒体, 其中，每个流在媒体传递服务器上生成额外的负载.

说到体育博彩, though, 我们还必须考虑降低整体用户延迟的经济因素，而不是只选择少数人在赌场外进行实时体育博彩. “仍然只有一小部分观众会同时进行直播投注,斯文森说. 这一事实引发了围绕流媒体分歧的讨论, 其中一小部分观众获得非常低延迟的流, 缺乏许多或所有的关键图形元素的典型广播传递. 相比之下，绝大多数观众看到的是画面密集的流媒体，尽管传输时间更长.

体育场里的经历

Svensson指出，在过去6个月里，讨论中出现的一个用例越来越多，那就是如何为付费观看体育赛事的球迷增强场内体验. 他解释说，这是理想的，对于那些谁可能只有一个有利位置，在一个更长的赛马场. “你可以用手机、平板电脑或任何你带到体育场的设备作为第二设备,斯文森说, "在你的有利位置以外跟踪事件的其余部分.”

斯文森举的一个例子是越野滑雪项目, 看台上的观众看不到完整的赛马场. 一级方程式比赛甚至越野跑步赛事可能也是如此. 对于观众来说，想要跟踪他们最喜欢的赛车手是很自然的, say, 主要的滑雪者群在运动场外比赛的森林区域. 在这种情况下, then, 低延迟或亚秒延迟发挥了作用，因为当你坐在比赛现场观看第二个屏幕时，你不希望落后20或30秒,斯文森说.

设置同步期望值

因此，我们是否需要降低每个观众的流媒体延迟，因为需要从体育场内的有利位置观看或实时投注比赛? “这并不意味着事件的整个广播需要如此低的延迟,斯文森说, “而是为了体育场里的人们, 这实际上是一个非常有趣的用例，能够在观看完整比赛的同时，跟随你的滑雪者或你的车手观看比赛的其余部分.”

然而，即使斯文森的例子降低延迟在体育场内观看比赛, 这仍然是通过流媒体观看体育节目的一小部分观众. 这将我们带回到更大的需求:在给定位置将内容同步传送到多个设备. “我认为如果我们能将延迟时间降低到3小时左右, 4秒,斯文森说, “我们可以在看到关键比赛或事件前一分钟或更长的时间内消除推特和新闻的挫败感. 我想这就是它的归宿.”

对于普通观众, though, 还有另一个问题:数据传输, 比如文本, tweets, 和图形可视化遥测数据从赛车或滑雪者, 能以低于半秒的速度完成吗. “我认为最大的挑战之一是，你不仅可以从你正在观看的视频流中获得更新, 但是很多体育项目的应用程序会把赛事推送给你, 事情发生后不久,杜邦说。. “没有人真的想要收到关于最新比分的通知，然后在视频中看到进球. 你想先看到目标，然后收到通知.”

杜邦的观点反映了“实时流媒体的商业价值”调查的受访者所做的一些评论, 其中一个回应简洁地总结了这个问题:“看到了一个关于大型游戏的直播推文，我甚至还没有看到它的设置.”

除了, 有关于降低视频延迟是否能最好地处理交互性的讨论，以及这是否可能. 杜邦说:“我们也有像《百家乐软件》这样的例子，在那里你可以投票. “你还希望至少有一些低延迟，否则, 你有一个很长的投票期，因为你需要确保每个人在投票前都看到了所有的内容.”

不要随波逐流

同步还考虑了实时事件流的漂移，当一个动态戏剧或一系列戏剧发生时，流媒体观众的收视率上升. 在这方面, 凤凰超级碗LVII报告的一个关键点是正确的:几乎每个流媒体解决方案都有一个“漂移”因素，如果必须从原始服务器生成数十万个单播流，那么延迟约20秒的流最终可能会导致整体延迟超过一分钟.

超级碗2023测量观众漂移

这一点进一步巩固了同步的必要性. 为了更加强调它, 凤凰的推文附有一张图片，显示了四个设备中的三个设备的同步——包括OTA交付. However, 凤凰流媒体解决方案明显缺失——第四个设备如此遥远，似乎是在完全不同的游戏上.

“如果设备没有时间同步, 你可能会得到相同类型的不同设备的不同延迟,斯文森说. “我曾经去过一些体育酒吧，那里不同的电视机有不同的延迟, 在体育酒吧，当一半的人比其余的人领先5-10秒时，哪个是非常明显的.”

让我们谈谈

有时, 我们可以通过完全放弃视频来处理这种漂移，将其作为一种非常及时的信息传递方式. 有两个关键用例:拍卖和突发新闻.

在Help Me Stream基金会和拍卖公司的讨论中，我们邀请他们赞助我们对现场互动的研究, 我们经常听到，典型的流媒体视频延迟15秒或更长时间太长，无法实现充分的同步竞标. 虽然Zoom和其他网络会议解决方案可能在一个完美的世界中工作，但这是事实, 我们收到的另一个反馈与拍卖地点有关, 其中许多都是在田地里(想想牛), farm, 或马拍卖). As such, 我们被告知，人们通常会做出判断，放弃视频，转而使用纯音频流.

如果网络连接严重受限, 拍卖商将退回到使用音频桥接电话, 因为拍卖师不想让那些只听音频的人处于劣势，而那些等待几秒钟的视频通过的竞标者认为它已经达到了特定的美元或欧元水平.

另一个用例是灾区, 有两件事是至关重要的:将信息传递给尽可能多的人，并通过几乎每个人都能访问的媒体传播信息. 在这种情况下，民用通信网络不太可能保持完整或始终以最佳状态运行, 反过来，这意味着以音频为中心的方法-伴随着关键数据，如天气状况, 风暴运动的可视化, etc.-为那些不愿意花时间坐在大屏幕前的潜在灾区灾民提供了一个更好的选择. 这种方法还有一个额外的好处，就是降低了听众的电池消耗，因为他们可能需要连续几个小时接收灾难的详细信息. 从流媒体的角度来看，延迟目标应该是尽量减少无线电延迟, 多少?, 甚至比我们在娱乐节目中看到的视频延迟还要低得多, 企业, 或者教育环境.

我们将何去何从?

当前正在使用的技术, 还有一些即将到来, 提供降低延迟的潜在方法.

基于http的流

绝大多数流都是从基于http的服务器交付的, 要么是苹果的HTTP流媒体直播(HLS)，要么是行业标准DASH, 在这一点上，探索降低延迟的方法是一个很好的开始. 近年来, 有两种新的低延迟和超低延迟协议正在测试中, HLS和DASH各一个. 早期的试验集中在试图通过调整整个链上的清单和块交付来解决延迟问题, 舱单要尽可能早地提供，视频的“部分”片段要从包装商那里提供，并在准备好后立即发送出去.

专有的解决方案

还提供了编解码器无关的媒体服务器解决方案, 尽管其中许多都是在一个闭环系统中运行的，其中播放器和媒体服务器都来自同一家公司. “也有许多专有解决方案，”杜邦说. “THEO有HESP, Softvelum有SLDP，还有其他的. 其中许多的问题在于，它们的工作方式与其他流媒体的工作方式完全不同. 所以，你必须支持编码器. 你必须支持各种各样的球员. 如果这是一个依赖于一个供应商的封闭生态系统, 它很难在标准网络上发布.”

卫星

一些卫星供应商也在努力宣传他们较低的延迟. 但其中一个潜在的问题是，有多少流量真正需要低延迟传输. 像Viasat这样的传统卫星传输提供商将其网络上需要低延迟传输的总流量固定在10%左右. 在Viasat对联邦通信委员会(FCC)的评论中, 该公司指出，“委员会已经承认，可以通过适当的网络设计来减轻延迟的影响,补充说，“[国际电信联盟]已经确认，[连接美国基金]所采用的100毫秒延迟标准的技术模型可能夸大了延迟对服务质量的影响。.”

新一代的卫星宽带提供商, though, 他们是在说他们的传输和标准宽带的延迟是一样的吗. SpaceX, 例如, 有我们, 一个低地球轨道(LEO)卫星星座，它声称增加的延迟不超过20毫秒. SpaceX公司声称，它的Starling卫星可以为地球同步卫星提供70次往返数据传输，与地球同步卫星所需的半秒或更长时间相比，延迟时间约为20毫秒. 其他两家卫星供应商对此提出了异议——其中许多都有自己的“鸟”,或卫星, at 22,距离地球表面236英里，以容纳更大范围的交付和联邦通信委员会.

虽然“星链”低轨道卫星位于地球上空约330英里处——这是覆盖地球表面的有限区域，需要更多的轨道卫星才能完成相同的地理覆盖——但它确实有一个额外的好处，即提供比地球同步卫星更低延迟的互联网服务. Still, FCC在最近的农村互联网交付拍卖开始时指出，那些寻求使用LEO卫星网络作为低延迟提供商竞标的人将面临“重大挑战”，向FCC工作人员展示“他们的网络可以向消费者提供低于委员会100毫秒低延迟阈值的真实性能”.“然而, SpaceX克服了这一挑战，并获得了参与农村宽带项目竞标的批准. 它是批准的申请名单中唯一的低轨道卫星提供商.

WebRTC

虽然网络会议是大流行期间的主要重点, 甚至像Zoom这样的大型低延迟通信公司现在也在裁员. 但是，网络实时通信的一般概念——以WebRTC协议束为主导——已经通过一系列技术进步取得了进展. 最近的一次涉及摄取(WHIP)和输出(WHEP)，这表明可能有许多传统的流媒体提供商只想利用WebRTC近乎零延迟的优势来获取内容，同时继续使用基于http的传输方式向全球流媒体观众提供服务. 这是一个值得关注的问题, 因为WHEP可能会为本文前面提到的分岔创造技术路径.