视频编码:选择专家或万事通?

编码技术人员必须做出的最困难的选择之一是在硬件和软件之间做出选择. 自计算机发明以来，基于硬件的编码器和转码器就比软件具有性能优势. 这是因为敬业, 有限用途处理器是为运行特定算法而设计的, 而运行编码软件的通用处理器被设计为处理几个功能. 这是专家和万事通的对决.

在过去的几年中，处理器和工作流发生了变化. 最大的破坏者是时间和摩尔定律的经济学, 有句名言是这样说的:芯片中集成的晶体管数量大约每24个月翻一番. 摩尔定律的逻辑结果是，cpu每隔几年就会变得更强大两倍, 但最近，处理能力似乎每隔几个月就会翻一番. 最近, 英特尔——其联合创始人戈登·摩尔(Gordon Moore)创造了摩尔定律——一直在其数学协处理器的基础上增加专业功能，以平衡通用处理器和专业处理器之间的差异.

通用处理器和特定于任务的硬件处理器都有许多层和元素. 通用CPU是最常见的——在各种计算设备中有数十亿个通用CPU——而更有目的性的处理器包括数字信号处理器(dsp)。, 现场可编程门阵列(fpga), 集成电路(ic)可用于各种工业设备，并广泛用于手机. 许多结构和元素在所有类型中都是相似的, 但两者之间存在相当大的差异. 如果你不熟悉各种类型的元素, 下面是两者的基本结构.

通用CPU

通用CPU采用灵活的核心元件作为算术逻辑单元(ALU)进行布局。, 控制单元(CU), 以及为性能提供额外功能的配件元素. 基本上这两个核心相互通信, 根据需要引入内存, 把功传递给其他元素. 其他元素包括I/O处理器, 逻辑门, 集成电路, 在大多数较新的处理器上，尤其是在英特尔至强处理器上，还有一个强大的数学协处理器. 数学协处理器辅助ALU，可以处理更极端和复杂的数学计算. 从本质上讲，它为处理器提供了所需的额外马力.

专用处理器

专用硬件编码器比通用处理器出现的时间更长, 而后者在处理数学方程或算法问题时速度较慢. 历史对于理解市场和技术至关重要, 更不用说对未来的感觉了. 最早的编码例子出现在1965年, 当时国际通信卫星1号(“早起的鸟”)成为第一个商业部署的下行视频和音频卫星. 从那时起, 世界上一直在使用特定的处理器来处理视频, 这项技术已经取得了飞跃式的发展，提供了更高的密度和质量.

专用处理器——如专用信号处理器(dsp), 图形处理单元(gpu), 矢量处理器——都有非常相似的设计结构. 最基本和最常见的元素是I/O管理器, 它有一个小型的板载操作系统和内存. 这是交通警察，控制输入和输出. 然后有多个专门的处理模块，可以非常快速地执行所需的指令，并且dsp和其他专用处理器支持这些处理模块. 不像通用处理器, 哪一种有许多可能的通用指令，但对手头的任务可能不是最有效的, 专用处理器依赖于加速, 更具体于工作的每函数指令.

专用处理器和编码器具有各种应用程序和工作流程. 如果你看看专业编码器的主要用户, 您将看到，在许多情况下，它们依赖于专门的编码器. 以下是生产DSP芯片的知名公司:LSI公司.; Texas Instruments, 公司.; Analog Devices, 公司.; Sony; and Magnum Semiconductor. 这些dsp用于媒体网关等设备, 远程监控设备, 手机, 以及军事和雷达处理.

fpga由于其设置和升级的灵活性，现在是非常流行的DSP功能实现. 因为它们是可现场升级的, their development costs for the user are significantly cheaper than 需求方 and application-specific 集成电路 (ASICs; more on those in a moment) from the traditional DSP providers. 你可以看到Altera公司的fgpa. 和赛灵思公司. 内置DSP功能. 如果你想要一个更容易在现场升级的板或系统, 那这可能是最好的办法了.

专用处理器的另一种实现是专用集成电路. 这些工厂编程的dsp无处不在，成本是一个关键的考虑因素, 因为它们以最优的价格和性能提供特殊的功能. 在一般情况下, 它们的设计成本更高，但对于任何电器或电路板制造商来说，在其系统中实施它们都具有成本效益. Many manufacturers of 需求方 also manufacture ASICs; companies such as NXP半导体, Broadcom Corp .)., 飞思卡尔公司. 还可以定制ASIC dsp.

如果您打开硬件编码设备(从IP媒体网关到广播编码器和解码器)，您将看到前面列出的几种芯片. 您可以找到适用于每个行业的电器. 今天你会发现一个专用的基于硬件的编码设备谐波公司.; Harris; Tandberg Data; or NTT Communications in every TV station or cable TV headend, 你会发现ViewCast Corp .的电器或卡片. 或在许多混合编码农场的数字急流, 因为它们加速了硬件中的一些功能. 如果你看过YouTube上的视频, 那么你已经看到了RGB网络用RipCode设备编码的视频, 使用了大量德州仪器, 公司. 需求方.

硬件编码器的优缺点

当涉及到特定设计硬件编码器和专用设备时，总是有一些优点和缺点. 带有dsp或芯片的专用硬件方法是媒体网关和低延迟军事应用的完美解决方案. 它们被设计成全天候运行，很少或根本没有人类互动. 有一些处理器可以在1ms-10ms(毫秒)范围内编码整个帧，而fpga可以在10ms-30ms范围内编码. 这些过程允许创建从编码到传输到解码的编码延迟小于100ms的设备. 目前，只有使用合适的dsp、asic和fpga才能获得低延迟. 设备的平均使用寿命为5-10年，具体取决于配置和制造商. 对于很少变化的系统，假设类似的生命周期, 如卫星上行线路或电缆系统编码器.

专用的基于硬件的编码的主要缺点是处理器上的编解码器通常无法升级. 每个DSP、ASIC或FPGA都是基于多年前完成的算法. 当芯片准备出售时，编解码器已经有6个月到1年的时间了. 为设备开发和制造增加更多的设计周期, 最终的结果是一个基于一年或更老的编解码器的设备. 如果编解码器的改进出来了, 由于制造商或芯片的设计方式，芯片或设备可能永远无法集成新的编解码器或技术. 专用的DSP方法可以节省大量资金，但以牺牲灵活性为代价. 这些芯片只做它们最初设计的功能，仅此而已.

基于芯片的专用编码器还有另一个问题:谁来决定代码和流的质量? 是DSP工程师，压缩师，还是制作人和导演? 在电视台, 通常是总工程师和执行制片人的组合，他们决定电台播放什么图像. 如果他们使用硬件编码器, 在许多情况下，关于编码参数的决定已经脱离了他们的掌控. 广播工程师必须在芯片制造商允许最终用户更改的参数范围内工作, 意思是，虽然通常有一些控制, 可能没有制作人或工程师想要的那么多. 你只能在芯片上执行这么多操作和周期, 所以有些功能的实现是不经济的.

软件编码器的利弊

通用cpu与专用处理器有一些相似之处和架构. 它们被设计用来处理你的PC或服务器的日常功能, 而且它们被优化后可以做一些平凡的任务，比如文字处理. This is why your motherboard has a powerful graphics card in your machine; it's a specialty function that is best offloaded to a specific-designed processor. 如果你做非线性视频编辑, 您可能有一个带有一些特殊处理器的捕获卡，可以为您提供实时输出或转换.

在编码和流媒体行业, 我们主要使用捕获板和一个或多个可用的软件编码包. 每种应用都有相应的算法和公式, 从实时编码到基于文件的转码再到基于软件的解码. 如今，大多数基于软件的编码器在代码中都有钩子来卸载某些元素，以加速或允许多个cpu运行并行功能，以获得最佳性能和质量. 最近, 英特尔 是否提供一些具有MPEG解码功能的板载gpu, 视频流的运动矢量分析, 以及其他函数.

软件编码器允许用户更灵活地响应特定客户或事件的需求, 它们都使用相同的通用处理器和捕获板来支持更多的视频格式和标准. 长期以来，这一直是软件编码器的优势. 它们易于重新配置和使用.

软件编码行业最近出现了开源和闭源之间的争斗. There are some notable pioneering closed source companies that helped drive the development of software encoding and streaming: 微软; Real Networks, 公司.; Sorenson Communications; and Adobe Systems, 公司. 为现代流媒体和基于网络的视频提供了框架. 他们从一开始就存在, 在很多情况下，他们资助编解码器成为标准.

除了这些先锋公司之外，最近还有一场开源运动. 一些早期版本，如x264和加州大学伯克利分校的开源库，为大多数软件编码器提供了基础. 每隔一段时间就会添加代码，并允许其他人编写他们的自定义应用程序. 比较有名的有VideoLan (VLC), FFmpeg, 和WebM都在创建新版本，并在普遍使用中流行起来. 有些公司甚至从一些较大的上市公司获得资金. 最显著的例子是WebM, 该项目主要由谷歌资助, 是谁在收购On2 Technologies后将VP8编解码器开源的. 所有这些竞争和活动都在为消费者创造更好的产品. 大公司意识到开源的开发和创新比他们自己的更快, 允许市场以更快的速度增长.

但是基于软件的编码有一些缺点. 编码最重要的参数是质量、灵活性、价格、延迟和支持.

软件编码相对于纯硬件编码器的最大优点是它的灵活性和质量. 软件总是能够以令人难以置信的速度采用和更新. 当新的编解码器优化出来时，编码包的更新很快就会随之而来.

软件编码可以使生产者, 工程师, 或者其他用户得到他们想要的质量和图像, 不像自动化的硬件解决方案, 用户对整体图像和结果没有发言权. 一些较大的编码公司雇佣色彩顾问和压缩师, 还有程序员和交付专家, 所有这些人都帮助执行制片人和导演决定整体结果应该是什么样子. 这是一种针对流媒体的广播方式.

因此，如果软件编码在灵活性和质量上胜出，那么速度和延迟呢? 而一些高度调优的硬件编码器提供的延迟在30ms范围内, 大多数软件解决方案在300ms-500ms范围内运行, 如果不是更高. 大多数使用软件编码的人都意识到他们牺牲了一些速度来换取质量. All that matters is whether or not they can get the resolution and framerate they want; if it's delayed some, 可以设计工作流来适应它. 另一方面, 如果您需要最低的延迟和最快的交付, 你将不得不放弃一些品质.

支持成本当然是一个重要的问题. 专有公司会继续制作你正在使用的版本吗, 还是有可能退出市场? 更新和升级的费用是多少? 事实证明，开源社区的升级相对频繁, 而专有软件的升级就不那么容易了.

虽然有些人认为开源产品提供的质量或可靠性低于专有软件, 事实并非如此. FFmpeg、VLC和WebM都在显著提高其质量. 另一方面, 像Sorenson和MainConcept这样的专有软件包也经受住了时间的考验，并继续得到广泛的使用. 有趣的是, MainConcept and Sorenson are two of the few companies whose solutions are used in both software and hardware encoding; both provide codecs for the PC environment as well as specifically designed chips.

媒体消费的变化，媒体编码的变化

基于硬件的通用解码器现在在整个媒体查看器世界中扮演着重要的角色, 尤其是随着越来越多的观众放弃有线电视，转而通过IP来观看所有的视频. Roku、Boxee和其他IP机顶盒都是基于dsp的解码器. 同时, 越来越多的消费者开始采用Android或iOS设备，并将其作为个人媒体播放器, 每个设备都自带一套理想的编码配置文件和参数. 您将发现需要进行自定义缩放，并且可能希望提供尽可能高的复杂性. 再一次, 每帧需要花费更多的CPU周期, 这将需要更多的编码时间，但产生更好的结果.

结论

硬件编码和软件编码之间总是会有一场战斗. 谁将在各个细分市场中胜出? 为什么是硬件编码器与软件编码器? 即使是现在，我们也开始看到在通用cpu上附加了更多的专业功能, 由于晶体管和处理器的小型化和密度. 例如, 英特尔最近同意从RealNetworks购买190项专利和170项专利申请, 多年来，该公司一直在增加图形处理和其他加速器或处理引擎.

当需要处理大量数据时，专用硬件编码在独特的并行处理情况下胜出, 以及在低延迟通信，如实时金融和一些军事应用. 它还会导致您只想安装编码工具并让它自己工作的情况, 比如在YouTube上可以依赖自动化的情况下, 预定义的分辨率和比特率为大量的观众. 但软件编码器将是大多数应用程序的首选工具. 用软件编码比用硬件编码更快更便宜, 一旦你看到市场对你的产出的反应, 修改更快更便宜.

那么，你最看重灵活性和低成本吗? 那么软件可能是你最好的选择. 你是否需要面向移动市场的低延迟和流密度或自动自动转码? 那么硬件解决方案可能最适合您.

本文发表于2012年10 / 11月刊 流媒体杂志 标题为“专家Vs. 的万事通."

索伦森宣布索伦森挤压溢价

Premium位于现有的Squeeze桌面和服务器产品之间, 并且是为多个视频编辑使用的.

2012年9月12日

如何选择企业级视频编码器

硬件? 软件。? 工作流系统? 各自的优势是什么? 对于那些不确定从哪里开始的人，先看看这里.

9月11日

编码.com推出EDC私有云，瞄准优质内容

好莱坞的主要电影公司会对云编码产生热情吗? 编码.Com计划扰乱市场.

2012年9月6日