2019年10月15日
By 1月时特约编辑
专题文章

MPEG计划在2020年推出3种视频编解码器

2020年，运动影像专家组 (MPEG)计划推出三种不同的编解码器. 从这个角度来看，MPEG-2(1994)和H之间有9年的差距.264(2003)和H.264和HEVC (2013). 无论以何种标准衡量，MPEG的优秀员工都非常非常忙碌.

下表列出了这些即将推出的编解码器. 左边是多功能视频编码(VVC), 或MPEG-I Part 3, 2015年6月发布了详细说明其目标的原始需求文档. MPEG-5第1部分，基本视频编码(EVC)在中间，有两个配置文件，基线和主要. 右边是MPEG-5第2部分，即低复杂度增强视频编码(LCEVC). 在深入研究细节之前，让我们讨论一下是什么推动了这种加速的创新步伐.

简单地说，有三个因素. 首先是极其曲折的版税模式，众所周知，它阻碍了HEVC在许多市场的部署，并改变了主要设备制造商采用技术的方式. 正如一位MPEG成员所解释的那样, 在过去, 苹果(Apple)和三星(Samsung)等公司在成本形势明朗之前就采用了新标准. 这在AVC中运行良好，但在HEVC中就失败了，因为HEVC的版税问题还没有解决. 出于这个原因，大型oem厂商将不再采用没有“明确的知识产权许可”的新技术.“这使得标准制定组织有责任加速技术开发和标准的业务方面.

这种动态需要对MPEG的操作进行根本性的转变. As 观察到的由MPEG主席Leonardo Chiariglione主持, “MPEG一直在开发以最佳性能为目标的标准, 不管涉及到什么知识产权. 这种方法产生了最好的技术和可用的视频编码标准，直到AVC. HEVC不再是这样了. 并不是HEVC的专利持有人比AVC多, 但专利池创造机制似乎不再能够带来结果.“因此，需要做出一些改变.

加速MPEG发展的第二个因素是来自开放媒体联盟的AV1编解码器, 从许多方面来看，它的质量都比HEVC高，而且据称是免版税的, 尽管它是专利池管理机构Sisvel于2019年推出的专利池的主题[全面披露:作者就AV1和VP9专利池咨询了Sisvel]. 你会看到, MPEG认为，一个潜在的免版税编解码器呈现出它想要匹配的强大价值主张.

推动这一步伐的最后一个因素是对编解码器复杂性的关注，人们认识到，即使是摩尔定律也无法跟上视频编码和解码的巨大需求. 最近，Facebook的视频编码总监大卫·隆卡(David Ronca)(前Netflix)在twitter上写道 LinkedIn“新的编解码器技术令人印象深刻. 但每一代新产品的计算复杂性都会增加6-10倍...我们必须探索满足视频爆炸式增长的方法，同时降低计算和功率要求. 未来编解码器的研究必须重视压缩效率和计算效率.”

让我们从这三个因素的角度来看每一个编解码器.

通用视频编码(VVC)

在这三种新技术中，VVC(也被称为H.266)看起来最像传统的MPEG编解码器, 目标是对HEVC主配置文件进行“实质性改进”. 需求文档将其定义为在与HEVC主配置文件相同的感知质量下将比特率降低30%至50%. 就复杂性而言, 同一份文件指出，“编码复杂性大约是HEVC的10倍或更多，对于许多应用来说是可以接受的.”

从外面往里看, 感觉VVC的形成是为了用一种更好的技术取代HEVC，这种技术(希望)更容易获得授权. 事实上, 尽管HEVC在由开放媒体联盟成员(谷歌和Mozilla)控制的浏览器上的支持并不理想。, soc中的硬件支持, 连接电视, 奥特设备, 苹果产品, 许多其他细分市场几乎是通用的. 因此，这些厂商将以多快的速度抛弃HEVC，转而采用更新的技术，还有待观察.

试图确定VVC的许可将如何避免类似hevc的问题是令人沮丧的，但有一些线索. 一个是来自 Chiariglione帖子他在书中思考:“我们是否可以引入分数选项，即提议者可以表明他们的技术被分配给带有‘行业许可’(在MPEG之外定义)的特定配置文件。”.“有趣的是，联合视频专家组 (JVET)国际标准组织, 哪个在VVC标准上使用MPEG, 2018年7月发布了一份文件，“提出了对VVC的要求，以实现第三方定义的互操作性点的信令, 哪些是JVET在VVC规范中定义的配置文件和级别的子集.”

为了解释这一点，H.264创建质量/性能水平，使使用基线配置文件的低功耗移动实现和使用高配置文件的计算机和OTT设备的全质量实现成为可能. 在VVC中，配置文件可以(也)定义具有各种已知和未知的版税属性的层.

Chiariglione和JEVT都提到的第三方是谁? 我们最好的猜测是媒体编码产业论坛(MC-IF)。, 由VVC贡献者于2018年9月创建的开放行业论坛部分原因是, “为……提供论坛, 和鼓励, 讨论与部署和使用这些标准有关的知识产权许可问题, 以促进本宗旨的实现.”

谁在MC-IF? It’s an interesting mix of OEMs like Apple; technology owners like Dolby, 英特尔, 指状组合型, 诺基亚, 日本电报电话公司, 橙色, 和 Technicolor; encoding vendors like Ateme, Beamr, 谐波, 和 NetInt; patent pool administrators HEVC Advance, Sisvel, 和 Velos; 和统一的专利, 一个拥有200多个国际会员的组织，旨在提高专利质量，阻止未经证实或无效的专利主张. So, 如果您正在寻找第三方来创建这些面向许可证的配置文件, MC-IF当然有专业知识.

也就是说, HEVC Advance和Velos 100%的收入来自HEVC版税，并有责任为其专利所有者最大化这些收入. So, 指望他们建立一个版税结构，帮助VVC迅速取代HEVC似乎不太可能. 除此之外, 组中有三个许可证管理员这一事实可能意味着代表VVC专利所有者的专利池不止一个. 而多池并不一定是坏事, 在反射, 这确实有一种爱因斯坦式的“我们不能用创造问题时的思维方式来解决问题”的感觉.

毫无疑问，假设MC-IF是相关的第三方，该组织的目标是崇高的. 但布丁才是检验, 或者更具体地说，专利所有权集团的构成和拟议的版税. 团队中的许多人可能不得不在保留明显功能失调的HEVC版税结构和/或为VVC创建一个有吸引力的版税结构之间走钢丝，以促进其快速部署和(也许)HEVC的快速消亡，同时为专利所有者带来公平的回报. 祝你好运.

MPEG-5第1部分(基本视频编码)

Essential Video Coding是一种更直接的方法来否定AV1的吸引力和克服HEVC的版税姿态. 的描述 MPEG页面州, EVC是为那些想使用ISO标准但不能使用HEVC的人提供的视频编码标准.“你可以从表格中看到, EVC有两个特征, 基线, 是免版税, 和主要, 哪个表现更好, 但是版税负担. 这种分叉的，一个免费，一个收费的编解码器是另一种方案建议由Chiariglione.

基线配置文件是免版税的，因为相关专利要么已经过期，要么其所有者以免版税声明向标准提交了技术. 目前的性能表明，编解码器提供与H相同的质量.264的比特率节省约31%，这与HEVC的性能相差不远.

这些相同的测试表明，主概要文件交付 26%的储蓄与HEVC Main 10 profile相比. 尽管EVC的主配置文件使用了带有版税的“工具”,这些功能可以在“有限的性能损失”的情况下打开和关闭."这是"组织"和他们的 xvc编解码器, 和, 在理论上, 它允许那些部署该技术的人选择性能和相关的版税成本.

MPEG将如何加速主配置文件版税成本的最终确定? 其中大部分都没有公开，但有一些暗示. 首先是另一个想法 Chiariglione “开发具有明确所有权的编码工具”.换句话说, 选择最好的技术包和与版税相关的保证, 不仅仅是最好的技术.

在他的博客中 ecodis克里斯蒂安·R. Helmrich, IEEE的资深会员, 注意到为响应MPEG对MPEG-5 Part 1的提案征集而提交了两个提案, MPEG选择了三星的提案, 华为, 和高通, 它们都拥有大量的视频相关IP. 我们可以合理地猜测，这一提议包含了三家公司的所有IP，并带有固定和合理的版税预期, 再加上(或许)其他IP所有者的其他工具也有着类似的明确期望.

我们所知道的是MPEG是令人鼓舞的贡献者 “提交关于及时公布许可条款的自愿声明。,“每个为标准贡献技术的公司”在FDIS(国际标准初稿)阶段的两年内及时发布适用的许可条款，可以单独发布，也可以作为专利池的一部分发布.”

所有这一切似乎都表明，主配置文件中的知识产权将由单一专利池代表，这将加速和简化许可. 考虑到从编解码器中排除工具的能力为每个IP所有者加入池创造了巨大的动机，这一点尤其正确, 这可能是让他们的IP真正盈利的唯一方法.

另一方面, 和VVC一样, 有几个潜在的冲突值得注意, 比如三星, 华为, 和高通都拥有HEVC相关的IP，三星在MPEG LA和HEVC Advance池中，高通在Velos池中(华为似乎没有加入一个池)。. 因此，与保留HEVC版税相比，该组织在多大程度上提升了Main形象，还有待观察.

这将我们带到了低复杂度增强视频编码.

低复杂度增强视频编码

MPEG站点将LCEVC定义为“由两个组件流定义的数据流结构”, 可由硬件解码器解码的基流, 并提出了一种适合于可持续功耗的软件处理实现的增强流. 增强流将提供新的特性，例如对现有编解码器的压缩能力扩展, 较低的编码和解码复杂度, 用于点播和直播应用程序.”

来解释, 我们讨论的其他技术是传统的编解码器，对单个流进行编码和解码, LCEVC创建一个混合流，其中包含基本编解码器的低分辨率流, 哪个可以是任何编解码器, 增强的流提供了更高的分辨率和质量. So, 而不是使用HEVC编码1080p流, LCEVC编码将使用H .创建一个向后兼容的基础层流.264，比如640x360分辨率, 还有一个单独的层，包含用于本机1080p播放的附加数据. 如上表所示, 该配置的压缩效率应高于AVC，并尽可能接近HEVC, 复杂度与H相当.264编码与解码.

这种双流格式显示在图1. The sharp-eyed reader will recognize the V-Nova br和ing which is most certainly not an accident; LCEVC is essentially the V-Nova PERSEUS codec enhanced by suggestions made during the testing associated with the st和ardization process.

图1. 组成LCEVC的两个流.

V-Nova提交的测试数据令人印象深刻, 包括平均带宽节省45%和34%，分别比H.264和HEVC. 为了明确起见，这些计算比较了使用H基层的LCEVC.264到全分辨率H.264和LCEVC使用的HEVC基础层到全分辨率HEVC.

编码复杂度显示在图2, 这表明LCEVC编码速度明显快于全分辨率版本的AVC, HEVC, 和VVC. 虽然这些数字看起来好得令人难以置信, PERSEUS已被多个客户部署，LCEVC于2019年10月中旬被提升为委员会标准草案, 预示着2020年的发射.

图2. 与AVC、HEVC和VVC相比，LCEVC编码的复杂度.

我采访了Twitch的Tarek Amara，他是MPEG测试过程中的核心实验领导者之一. 他评论道:“典型的, 当编解码器提供改进的质量时, it requires more power; in this case LCEVC improves quality 和 decreases complexity.Amara不愿讨论Twitch是否以及何时计划部署甚至测试LCEVC, 但他确实提到了, “在我们考虑部署之前, 我们必须在所有目标平台上验证质量改进和解码复杂性. 然后，我们必须了解在所有这些平台上的部署问题.”

当我提到V-Nova在战场上有工作部署时, 阿玛拉说, 我们知道, 当然, 但这些都需要在我们的技术生态系统中得到验证. 我们不认为部署LCEVC是不可能的，但我们也不认为它是微不足道的."

有一件事应该是相对微不足道的，那就是知识产权问题，因为看起来V-Nova拥有LCEVC的所有相关专利. 我与V-Nova总裁Guido Meardi进行了交谈，他表示授权条款尚未确定. 他承诺, 然而, 版税成本将“与版税无关”,意思是低到潜在的实现者几乎不会注意到. 他不会把这个转化成整数, 所以我不知道用美元和美分来计算这意味着什么.

外卖是什么??

VVC和MPEG-5第1部分增加了编码/解码的复杂性，因此大多数实现都需要硬件支持. 这意味着芯片供应商和设备供应商实施新技术需要两年的时间. 在HEVC版税惨败之后, 这些公司可能不会开始实施，直到特许权使用费成本非常明确. 所以，我们应该像关注质量方面的BD-Rate比较一样密切关注业务方面.

也, 与VVC和MPEG-5部分1, 许可过程涉及许多拥有大量HEVC特许权使用费收入的公司，这些公司显然对保留这些收入有既得利益. Chiariglione的思考创造了一种结构，将加速版税条款的最终确定, 但只有亲眼看到他们，我们才能判断他们的吸引力.

LCEVC的不同之处在于，没有现有的版税流需要保护，只有一个专利所有者. 它也可以立即在软件中实现，从而缩短了两年的进度，并且具有内在的向后兼容, 这进一步简化了部署. 这意味着个人OTT发行商可以在没有芯片和设备供应商支持的情况下部署LCEVC，这是非常有前途的.

另一方面，LCEVC本质上是V-Nova的一项名为PERSEUS的专有技术. 众所周知，V-Nova于2015年愚人节发布积累了大量的怀疑多年来，一些人认为该公司并没有完全兑现其大胆的声明. 但是平稳而安静, V-Nova积累了编解码的行业支持和真正的付费客户. PERSEUS现在是官方的MPEG标准，也许是时候让LCEVC闪耀了.

最后我要说的是，所有这些对我来说都是新的, 还有很多事实有待研究. 把这些摘录段落作为随时可能改变的即兴思考, 而不是我认为的一成不变的事实.