2016年4月12日
By 1月时特约编辑
专题文章

进展报告:开放媒体联盟和AV1编解码器

2016年4月5日，开放媒体联盟宣布三名新成员; AMD, 手臂, 和英伟达, amedia视频编解码器, 也称为AV1, 会作为开源项目开发吗.

你可能还记得联盟成立于2015年9月, 与亚马逊, 思科, 谷歌, 英特尔, 微软, Mozilla, 和网飞公司是创始成员. 它的目标是为互联网和其他市场创造一个开源的编解码器, and the makeup of the membership presaged fast codec acceptance by hardware and software developers; fast deployment in Chrome, Internet Explorer, and Firefox; and usage by at least two top tier premium content distributors.

上周的声明似乎是一个检查该组织进展的好机会, 所以我和加布·弗罗斯特谈过了, 开放媒体联盟的执行董事, 他的日常工作是Windows设备组的首席工程经理. 另外还有Chrome媒体战略与合作主管马特•弗罗斯特(Matt Frost)(没有亲戚关系).

我们从谈论新成员开始. 根据Gabe Frost的说法, 这三家公司都生产cpu和/或图形芯片, 或授权知识产权，使其他公司能够生产计算机芯片, 显卡, 移动设备, 还有机顶盒. 让这些公司参与进来的好处是确保编解码器是硬件友好的, 促进和加速AV1硬件支持. 对于移动设备来说尤其如此, 基于cpu的视频播放可以缩短没有硬件支持的设备的电池寿命, 以及stb, 哪里硬件加速对兼容性至关重要.

“硬件制造商参与设计是至关重要的，因此将硬件支持转变为硬件路线图没有障碍,加布·弗罗斯特说. “芯片供应商有非常固定的最后期限, 我们希望确保编解码器的开发与我们的合作伙伴磁带相交叉.”

将编解码器开发作为开源项目的好处是什么?

Gabe Frost表示:“我们正在推动多家公司的工程发展. “在不同的公司政策下闭门造车会减慢事情的进展.请注意，与其他开源编解码器项目不同, AV1用户不需要分享他们自己的源代码. 在这方面, 马特·弗罗斯特说, “开发者可以访问源编解码器, 改进它, 将其集成, 永远不要回报任何东西.虽然该组织希望大多数用户为项目做出贡献，但这并不是一个要求.

履约及装船日期

AV1在性能和时序方面的主要目标是什么? 粗略地讲, 该小组的目标是在编码和播放复杂性合理增加的情况下，将VP9/HEVC提高50%. 然而, 主要的焦点是推动改进，着眼于生产包括亚马逊在内的成员公司的编解码器, 网飞公司, YouTube可以快速实施和使用.

与微软, 谷歌, 和Firefox, 在浏览器中播放4K 60fps所需的优化是优先考虑的. 其中一个重点显然是超高清视频，包括高比特率、更宽的色域和更高的帧速率. 编解码器的基本版本将支持10位和12位编码，以及BT.2020色彩空间. 另一个重点是为WebRTC(实时通信)提供编解码器, 该项目由联盟成员谷歌和Mozilla支持, 以及类似的应用程序，包括微软的Skype.

编解码器什么时候发货? 该组织的目标是在2016年底至2017年3月之间的某个时间冻结比特流. 期望不久之后看到基于浏览器的支持, 在那之后的12个月内提供第一个硬件支持.

讲述YouTube使用VP9的经历, 马特·弗罗斯特说, “VP9, 我们在2013年6月冻结了比特流, 并在那年的8月或9月从YouTube上播放VP9.关于AV1, 弗罗斯特希望YouTube能尽快过渡到这种编解码器, 特别是对于视频配置，如超高清, HDR, 以及高帧率视频，其中编解码器有望比VP9节省大量带宽. 也就是说，弗罗斯特希望YouTube将视频编码为VP9和H.264格式的向后兼容性至少需要几年.

那么，谷歌的VP10、Mozilla的Daala或思科的Thor的贡献将如何体现在AV1中呢? 加布·弗罗斯特解释道, “AV1项目中的基线代码表示在投资之前最大份额的投资来自何处,，基本上表明了VP10的代码, 是三个人中最成熟的, 将主导. 弗罗斯特表示，AV1将包含Daala和Thor的一些最好的想法和特征.

从头开始GPU加速

代表微软发言, Gabe Frost指出，公司正将大量精力投入到AV1的下一代体验中, 将VP9整合到Edge的工作将给他们一个良好的开端, 特别是关于Windows和Xbox One等Windows设备上的GPU加速. “我们正在部署大量百家乐软件，以确保编解码器在pc和Windows设备上运行良好, 这就意味着要优先考虑GPU加速,他解释道.

有像NVIDIA这样的硬件供应商加入联盟意味着强大的GPU加速即将到来, 马特·弗罗斯特指出. “大多数编解码器都是由先推出编解码器的小开发团队发布的, 然后考虑GPU加速等优化,他说. “作为联盟工作, 我们从一开始就在优化电源效率和GPU加速, 哪一个应该为全面采用提供真正的优势.”

考虑到VP9有强大的浏览器支持和广泛的GPU加速, 但除了YouTube之外很少有大用户, 为什么更广泛的市场会接受新的编解码器? 而第三方采用的速度很慢, VP9编码的内容量比HEVC编码的内容量大几个数量级, 马特·弗罗斯特很快指出. HEVC主要用于4K或hdr等特殊应用.264表现不佳，vp9正在取代H.264在YouTube的整个编码阶梯，从240p到4K.

Matt Frost说，几个趋势将有助于AV1的接受率远高于VP9. 第一个, VP9发布时，Flash仍是播放平台的主宰者, Adobe从未在Flash中添加VP9或VP8播放功能. 这意味着视频制作者如果不转换到HTML5就不能使用VP9，而HTML5显然还没有准备好. 随着市场迅速转向HTML5，更多的开发者将有机会使用VP9和AV1. 超高清(UHD)和高分辨率(HDR)视频的趋势也将推动优质生产商转向新的编解码器.

浏览器回放

H.我的寿命很长, 最初是因为Flash让播放无处不在, 最终因为它被证明是一个非常有效的编解码器. H.264的长寿也与大多数制片人仍然以高清和更小的分辨率拍摄和发行有关. 对于那些考虑超高清的人, 除了联网电视和最新的安卓设备之外，HEVC播放基本上还无处可去.

尽管许多分析人士，包括我自己, 预测HEVC播放现在将在Chrome和IE/Edge中可用, 谷歌和微软显然在优先考虑VP9和AV1，而不是HEVC. 虽然微软最初承诺在Windows 10中包括HEVC播放, 后来它取消了支持, 选择只支持hevc硬件实现. 底线是在Windows或Edge上没有基于软件的HEVC解码.

Chrome怎么样?? 而基于软件的HEVC支持在Android 5中是可用的.谷歌只会为直接交付给客户的硬件设备支付版税. 这意味着Android出货量可能不足以达到MPEG LA和HEVC Advance设定的上限, 因此，在Chrome中包含HEVC播放会产生费用. 除了这两个专利池，还有特艺彩色的许可证处理，再加上其他HEVC IP所有者试图强加自己的许可的风险. 所有这些, 加上谷歌对VP9/AV1的明显关注, 似乎是Chrome中HEVC播放的负面指标.

Mozilla从未授权H.264，将永远许可HEVC. 苹果, MPEG LA HEVC授权集团的成员, 似乎正在放弃对HEVC的支持, 从iPhone规格表中删除了对该技术的提及. 在桌面之间, 移动, 和OTT业务线, 苹果支付的HEVC版税将远远超过它的收入, 这可能会使联盟和AV1比乍一看更有吸引力.

虽然苹果和微软看起来像是奇怪的伙伴, 这两家公司最近共同撰写了一份报告新通用媒体申请格式的要求文件 (CMAF)作为MPEG-A，第20部分. Gabe Frost(代表微软而非联盟)表示, CMAF定义了分段媒体的编码和解码. CMAF段可用于支持使用HTTP(S)和任何表示描述的媒体段的自适应比特率流的环境中, 例如DASH MPD, 顺流舱单, 和苹果 HTTP 在线直播 Manifest (m3u8).”

虽然这种合作距离苹果加入开放媒体联盟还差得很远, 这确实表明两家公司可以有效地合作. 这也表明苹果, 长期以来，在MPEG DASH问题上一直公开不妥协, 是否愿意为有利于共同利益的新标准做出贡献. 苹果会加入联盟吗? “我们已经和很多公司谈过了, 招聘绝对不是我们的挑战,加布·弗罗斯特说. “最难的部分是工程上的努力, 采取下一步措施, 并通过开源项目推动贡献.”

最重要的是，浏览器中的HEVC播放无处可去, 而且几乎没有明显的势头, 这使得VP9和AV1成为唯一的基于浏览器的游戏, UHD回放.

广播呢??

十年前，广播就是广播，流媒体就是流媒体. 电视和有线电视盒支持通过有线和卫星传输的编解码器, 在客厅里看了一小段网上的视频. 相对少数的大型有线电视和卫星运营商为他们的系统选择了编解码器或编解码器.

今天，这种情况正在逆转. 像网飞公司这样的公司, 亚马逊, 和YouTube正在向客厅输送数十亿小时的内容，因为消费者拔掉了插头, 越来越多的内容制作商直接通过IP视频进行制作. YouTube表示将停止在美国播放超高清内容.264，仅依靠VP9，然后是AV1. 这, 加上网飞公司和亚马逊预计会使用AV1, 是否应该让AV1支持未来联网电视和机顶盒的清单项目. 一旦发生这种情况, 其他出版商可以自由选择他们喜欢的编解码器, 为什么不选择一个提供基于浏览器的播放功能呢, 还有电视? 当然，HEVC将在短期内成为大型有线电视和卫星系统的基础编解码器, 但它对客厅IP传输的控制显然是有疑问的.

这对制作人意味着什么

这对1080p和更小分辨率的游戏有何影响? YouTube发行的是VP9，而不是H.因为它可以在相同的质量水平下转换为更低的比特率, 或以与SD相同的数据速率播放高清视频. 取决于你的目标, 部署VP9或AV1可能意味着降低带宽成本, 改善服务质素, 或两个. 不久的将来，H.264编码的视频将看起来像今天的Windows Media或VP6编码的视频一样糟糕, 甚至高清和标清电视生产商也将被迫转换.

幸运的是，当您这样做时，对VP9和AV1的行业支持应该会得到显著改进. 举个例子, JW Player宣布，它将添加VP9作为其OVP服务的支持格式, 而且有传言说一些著名的编码供应商也支持VP9, 也许就在今年的NAB. 不要指望能干净地切换到VP9或AV1, 然而, 因为对移动和向后兼容性的需求意味着我们都将使用H编码.264在未来的许多年里.