人工智能和机器学习在流媒体中的前沿应用

信任是任何关系的关键, 甚至(或者可能尤其是)人工智能/机器学习. 前提是有足够的训练和建模, 软件将提供对普通人来说并不明显的洞察力. 我为本文采访过的所有解决方案提供商都表示，他们依靠机器学习来生成分析，并依靠额外的上下文信息来补充软件, 以确保所建议的决策具有适当的上下文.

AI/ML的最大用途是58%的开发人员希望使用 2020 Bitmovin开发者报告，用于创建推荐. 50%的开发者希望将其用于个性化. 去年，他们的调查显示，超过30%的开发者准备使用AI/ML. 但是AI/ML还有很多其他用途，这也是我们将在本文中关注的内容.

有些公司谈到AI/ML时，就像它是一个带有自己专有特殊酱料的魔法黑盒子. 没有更多的细节，我不太相信你. 我所理解的是算法是在数据上训练的, 将数据转换成一致的格式是一项艰巨的任务, 密集的锻炼. AI/ML正在获取数据, 在某种程度上是无结构的或者是不一致的, 然后生成一组一致的类别或结构化知识. “问题不在于数据本身, 而是确保人工智能本身以正确的方式感知数据,兰达·明卡拉说, 联合创始人兼首席运营官, 共振.AI.

“很难说(进行数据规范化)需要多长时间。, but delivering smart algorithms that produce insights is a function of the size of data sets; the more subscribers and engagement actions you have, 你就能越快地完善它,保罗·帕斯特说。, 首席商务官 Firstlight. "It's a volume and throughput game: A company with the scale of a Netflix can refine algorithms very quickly; for a service with a couple of hundred thousand subscribers, 这要花更长的时间."

非组织性数据。

根据高德纳2019年的一份报告，在未来5年内，80%的数据将是非结构化的. 所有这些非结构化数据的最大问题之一是识别内容中的内容. 深入了解视频的非结构化数据, 大大小小的公司都在为情感分析等任务构建机器学习模型, 命名实体识别, 主题分类, 文本摘要, 关系抽取, 情绪, 活动, color, 位置, QoS, 翻译和字幕, 上下文广告位置和更多.

“我认为媒体公司正在考虑人工智能和机器学习. 我认为他们在任何地方都没有尽可能地采用它，”明卡拉说. “我认为他们在一定程度上仍在争论他们的数据, 并考虑如何部署这个(平台)并使其有意义. 我认为，如果没有顾问或咨询团队的帮助，现在很难部署人工智能."

我经常听到的抱怨是内容元数据没有标准化到需要的程度. 这意味着何时迁移到新的OVP或CMS, 填空可能需要做很多工作. “我们确实使用Gracenote和ROVI数据进行归一化，但即使他们的数据集也可能不完整," 牧师说. "此外，想要发展竞争优势的OTT提供商可能希望获取比广泛可用的更多的数据."

可能你现有的供应商有一些使用AI/ML的东西. 问题是，现在什么是值得尝试的?

到云端和更远的地方

大约一半的客户在他们的工作流程中使用AI/ML, 西蒙·埃尔德里奇说, 首席产品官, SDVI. “这肯定比我们两年前做的要多. 它往往不是客户做的第一件事(它更像是第二个关注点)。." 在许多客户的路线图上，第一件事实际上是迁移到云, 把他们的内容放到那里, 移动他们的供应链. “在他们完成了最初的工作之后，人工智能工具真的是一个优化周期."

“我认为发生的事情是，有更多的小公司, 单一用途的人工智能工具，只做一件事，比如内容重复删除, 比较内容, 随着人们从多种不同类型的存储迁移到云,他说. “你多次购买相同的东西是很常见的，因为也许你的磁带库中有它，或者在某个地方的旋转光盘上.“我喜欢这种方法, 因为它告诉我，我并没有像近藤麻理惠所说的那样，在多个地方存放同一件东西的副本, 杂乱是不好的.

文本识别

内容中的文本识别是另一个AI/ML关注的焦点. “对于国际化来说，你不希望(错误的)语言出现在前三分之一,埃尔德里奇说. 另一个SDVI工具扫描文本并识别违规字符的时间代码. 而定位文本似乎很简单, 许多公司将识别内容的批发抄本. 而我们之前也讲过这个, 需要重申的是，如果没有人工智能/机器学习，扫描数百小时的内容将需要数百小时.

用于新闻和娱乐制作数字天堂提供“自动生成提要文本的能力[使用我们最近推出的Metadata IQ SaaS产品],首席执行官Hiren Hindocha说. “如果你在经营一家新闻机构，它正在从不同的来源摄取数百个提要. 现在的问题是，没有足够的人告诉你信息流里有什么. 这里的数据比人类所能看到的还要多."

它们自动生成提要的文本，以总结每个提要中的内容. “我们将允许分析师或编辑说, 好吧, 这个提要看起来很有趣，因为它有这个和那个. 数据已由机器汇总."

数字天堂 Trance

数字天堂的Trance自动生成多种语言的文本.

“今天，系统所做的是生成传入的音频馈送的文本. 它的视觉方面是对内容进行面部识别，从而能够说我在这里看到了雷切尔·马多, 在这段视频中, 此时此刻，我正在会见拜登总统.“路线图还包括总结内容和识别重要概念的能力.

上下文广告

由于在欧洲和美国发生的隐私限制，上下文广告已经成为一个重要的类别. 一段时间以来，我一直在问人们是如何做到这一点的，直到现在我还没有得到一个令人满意的解释.

“我们一直致力于将人工智能与IAB分类法相关联，以识别和分类视频,Mika Rautiainen说, 的首席执行官 Valossa实验室. 该分类法包含了许多针对整个内容的广告目标主题, 以及具体的内容部分. “我们开发的人工智能非常细致, 这样它甚至可以在视频中找到广告类别被描绘的部分."

“它可以识别视频开头的杂货店购物. 然后在视频中间有烹饪，最后可能是酒精饮料或饮料. 这些分类很容易理解。. “我们提供这种IAB分类，为您提供整个视频的广告类别. 对于这个例子, 因为酒精饮料是一个不断涌现的类别，被认为是一个敏感的内容类别, 任何想要排除这种情况的广告商都可以决定内容是否对品牌安全.“在这些话题发生的地方创建一个时间代码列表，可以非常准确地插入上下文广告.

标记的内容

内容识别可用于自动识别特定的操作. 这可能包括像进球、本垒打、投篮等体育活动. 或者用于识别暴力等有争议的事件, 裸体, 性行为, 吸烟, 饮酒和吸毒. 有两种方法可以做到这一点.

“如果你的工作是内容国际化, 例如, 以前, 你可能会看一个节目，可能会花两个小时或更长时间来浏览，找到不好的部分，剪掉它们，制作一个新的版本,埃尔德里奇说. “而现在他们可以在每集10分钟内完成，因为他们不用慢镜头看整个节目，也不用找东西了, 他们用时间轴上的记号表示, 告诉我下一个事件."

自动创建拖车

几年前，有人尝试用ML/AI制作一个短片，叫做 台“太阳泉”是，这很有趣，但不太理智. 即使在今天, 有人向我保证，我根本分不清某个东西是软件写的还是人写的. 虽然我认为我可以判断，但有些用途不需要非常复杂的应用程序. 创造预告片和亮点剪辑都是AI/ML的好用途.

“芬兰的(商业)广播公司MTV 3正在使用我们的人工智能为他们的视频点播平台制作电视剧和电影预告片的宣传亮点,劳蒂宁说. 这家广播公司没有足够的百家乐软件为他们的所有内容制作预告片, 但瓦罗萨替他们做了. “他们确实在这些服务中创造了更具活力和吸引力的消费者体验，并帮助客户更快地进入内容，以评估和理解内容是否合适."

“人工智能实际上会产生多种输出, 它只查看一次内容，然后产生许多不同的输出. 一个可能是行动导向的，另一个则更情绪化。. 预告片比 台“太阳泉”是.

内容匹配

将视频内容与网页相匹配一直是一件大事 JW球员已经做了几年了吗. “我们确实有很多与视频相关的元数据, 比如描述，有时还有字幕和文字记录,首席技术官Dave LaPalomento说. “所以我们能够将视频的主旨放在一起，将这两件事结合起来, 这是搜索引擎长期以来一直在做的事情."

您需要做的主要事情是将一些代码放入希望应用文章匹配的页面中. 该代码将被替换为该文章的选定视频匹配. 如果您愿意，还可以将业务规则应用于它. 有人还在手工做这件事，还是通过AI/ML取代了人类编辑器的内容匹配? “它现在有一个不错的基础，但我们仍然认为我们的客户有很大的增长空间."

服务质素

在这个桶中有许多不同的工具. “我们的测量模式是通过将SDK直接插入流媒体发行商的应用程序中来测量完整的人口普查, 实时连续,Aditya Ganjam说, 他是Conviva的首席产品官. “我们衡量观众的体验——他们的参与度, 行为, 他们在看什么, 他们用的是什么设备, 他们在哪里?."

任何时候都可能有2000万或3000万同时播放的流媒体，它们为开发人员提供了可操作的见解, 工程, 产品, 营销和广告盈利团队使用AI和ML来确定人们反应的根本原因. “我们更专注于从数据中找到可以自动或人类采取行动的见解,Ganjam说.

过去，它主要是基于交通模式的汇总信息. 现在他们看到更多的关注用于获取客户的两个指标:一个是你获取客户的速度. 秒是它们可以保留的时间? “我们注意到我们的客户实际上放大了很多,张辉说, 创始人兼首席科学家, Conviva.

文化的分类

随着越来越多的媒体公司进一步扩展到全球流媒体分销，这家公司将使用人工智能和机器学习对内容进行分类，以获得适当的评级和国际分销. “我们已经能够获得这套深厚的知识, 创造我们自己的方法, 系统化和建立技术，帮助我们识别和分类文化事件,特里萨·菲利普斯说。, 首席执行官, Spherex. 他们使用计算机视觉来查看视频上的内容, 用自然语言处理(NLP)来看待字幕并综合独立的信号来评价内容的意义.

该公司对200个国家和246个地区的内容进行了分级. “机器承担了我们人类不可能坐下来思考并将其变成规则的所有边缘情况. 我们已经制定了很多规则, 但很多国家要么不一致，他们如何应用自己的规则，要么他们的规则没有公布或没有说出来."

Spherex Greenlight

Spherex的Greenlight可以识别多个类别的敏感内容, 基于200个国家和246个地区的分类.

新西兰最近的一项研究表明，是否有学校环境中存在自残事件, 人们被欺负, 过多的人体艺术, 或者屏幕上是否出现了饮食失调, 这些都是青少年的诱因.

“(通过人工智能和机器学习，我们已经确定了)什么适合九岁的孩子, 12岁, 15岁, 18岁,菲利普斯说。. 这是基于他们所说的可分类, 在电影和电视中发现的文化元素是文化所关心的, 喜欢暴力, 性, 裸体, 亵渎, 自杀的药物.

“我们的系统有一套非常复杂的规则，当我们提取一个文化事件时, 假设是毒品, 例如，我们必须识别很多上下文,菲利普斯说。. “怎么回事?? 它只是呈现在这个屏幕上吗? 它被使用了吗? 是在聚会场合吗? 它被卖掉了吗?? 是美化还是鼓励? 吸食非法毒品会有什么后果吗，有没有什么教训?"

二等奖

现在，与我们上次写这篇文章时不同的是，AI/ML有了更多的积极应用. 还有各种各样的东西，我们没有包括，只是因为空间限制. 有遵从性记录, 包括自动翻译和字幕生成，也来自数字天堂. 当客户将新的内容库引入他们的CMS时，Firstlight media会对元数据进行全面的规范化. 还有来自JW球员的广告位置优化, 帮助客户获得更优惠的价格，因为他们知道广告会被看到并参与进来. 这是内容推荐和个性化的全部方面. 有自动编辑. CDN流量管理，内容参与评估等等.

这里的分类似乎都在解决非常紧迫、明确的问题. 例如，市场上有很多有前途的AI/ML广告应用, 我很难写的地方, 只是因为他们的利益太模糊了.

然而，本文是关于现有用例的. 我们关于FAST的文章包括对未来使用AI/ML的用例的采访，这似乎很有可能, 但还没有投入生产.

老话说得好，“信任但要核实”.“可能在某些领域，AI/ML可以有自己的发展空间, 但问题是模型需要训练, 一旦训练完毕，他们就需要持续的照顾. 我相信一台机器可以自我监督吗? 不. 虽然所有这些技术都很神奇，但我仍然不完全相信它们. 然而,.