AV1和开放媒体联盟(AOM)的发展、成果与未来

# Editorial Note #

Alliance for Open Media(开放媒体联盟)是由亚马逊、思科、谷歌、英特尔、微软、Mozilla以及Netflix等互联网公司成立。该联盟旨在通过制定全新、开放、免版权费的视频编码标准和视频格式,为下一代多媒体体验创造新的机遇。AV1是开放媒体联盟Alliance for Open Media (AOM) 开发的第一代视频编码标准。本次分享,我们邀请到了AOM的通信和会员发展副总裁——Matt Frost先生,他向我们分享了开放媒体联盟的产生,成立六年来所取得的成就及开放媒体联盟在下一代视频编解码器方面所做的进展。

文 / Matt Frost

整理 / LiveVideoStack

大家好,我是Matt Frost。是开放媒体联盟,即AOM的通信和会员发展副总裁。同时我也是谷歌开源媒体技术团队的领导人之一,我们的团队致力于开发下一代的免版税的开源数字媒体技术。欢迎大家参加开放媒体联盟第一次中国会议。

AV1和开放媒体联盟(AOM)的发展、成果与未来

谷歌首先启动的第一个项目是WebM,该项目旨在开发免版税的开源视频编解码技术。随后不久启动了WebRTC项目,为视频会议等应用程序推出了开源免版税的IP通信栈。谷歌对这些领域感兴趣有几个原因:

AV1和开放媒体联盟(AOM)的发展、成果与未来

经常有人问我,为什么谷歌和其他开放媒体联盟的大公司会员关心开发免费的开源技术。人们可以理解为什么小型初创企业可能想要使用开源编解码器,但为什么许多开放媒体联盟的大公司会员也会关心开源技术。

大多数人应该都有过类似的痛苦经历:知道采用新的编解码器会有许多挑战,要整合新技术并确保所有重要的设备都支持它,我们要面临技术障碍。但是,业务条款也可能成为应用的障碍。无论是授权方就授权条款讨价还价的漫长等待,还是开发商必须获得多个许可的授权要求。在这两种情况下,大小公司都无法使用新技术。而使用开源免版税的技术,我们可以事先知道条款,那拿到授权就简单明了了。这意味着开发团队可以快速地使用新技术,而不必因为要与授权方就授权条款和版税而苦苦搏斗,等待数年。

当然,成本是一个重要因素。对于那些发行了上亿份APP却还没赚到钱的创业公司来说,使用免版税的尖端技术显然非常重要。但成本也是大型公司需要考虑的问题。举个例子,一家手机制造商想要为预算非常有限的用户打造具有媒体功能的设备,这是谷歌一直特别关注的很现实的情况。制造商面临的问题是必须支持多代收取昂贵的版税的媒体技术,比如视频编解码器、音频编解码器、高端视频和音频增强技术,这使它几乎不可能为绝大多数全球市场生产高性能而且价格合理的设备。

另外,如今几乎所有的手机仍然支持H.264,这是一项20年前引入的有版税技术,很可能在未来至少10年内仍将在手机上使用。

为了确保设备之间的兼容性和现有内容的回放,我们需要在设备中添加新格式,但很少删除。如果只是将一代昂贵的技术叠加在另一代上,那就是在无情地推高设备的成本。让那些买不起昂贵设备的用户无法获得最好的体验,或是迫使他们支付这些他们无法承担的设备费用,这是个值得解决的问题。

#2. 开放媒体联盟

以上因素促使谷歌努力开发免版税的编解码技术。

当我们推出第二代编解码技术——VP9的编解码技术,在与合作伙伴讨论项目时,发现越来越多的公司已经开始使用开源技术。这些公司对传统编解码技术的授权难而感到越来越沮丧。在讨论时,发现这些公司有着共同的原则,都将使用相同的媒体技术,都希望新技术开发出来后能尽快投入使用,我们可以共同努力创造新技术,同时仍然积极竞争开发使用这些技术的最佳产品和服务,以及,由于都是业务不断增长,为丰富的媒体体验创造设备和服务的公司,所以可以通过销售产品,而不是通过向新的编解码器收取高额专利使用费来赚钱。

AV1和开放媒体联盟(AOM)的发展、成果与未来

我们正在开发免版税的技术,它是开源的。并且致力于快速提升技术以跟上互联网视频世界的创新步伐。通过组成联盟,这些公司可以改善我们的开发过程,可以采用现有标准机构的一些最佳方法以确保推出的编解码技术能够获得广泛的社区反馈,并且发布了经过严格审查的比特流标准规范,增加额外的专利审查程序,为正在制作的免版税编解码技术提供更大的信心。

通过开放媒体联盟,我们可以多增加一个审查程序,增加每个会员的专利审查流程。因此,谷歌等会员公司仍然使用他们自己内部和外部的法律和技术专家,来审查新的编解码器工具;而开放媒体联盟则使用联盟自己的律师和技术专家来进行第二轮专利审查。这是开放媒体联盟和传统标准机构之间的另一个巨大区别:我们把专利审查程序放在首位。

我们尽力吸引那些拥有丰富专利组合的公司来提供尽可能多的视频技术知识产权。努力确保公司正在使用的技术或受到开放媒体联盟会员的专利保护,或是开发工作中新创建的技术,或是公共领域的技术。这与其他标准机构的流程形成了鲜明对比。在其他标准机构的流程中,参与者主动将其专利技术纳入新标准,这样即使他们没有提高编码效率也可以获得版税。

AV1和开放媒体联盟(AOM)的发展、成果与未来

话虽如此,我们欢迎拥有许多有效视频专利的会员公司,欢迎拥有渴望开发新工具的大型编解码器团队的公司加入联盟成为会员,欢迎工程师们——不一定非得是算法专家来参加联盟的工作组会议参与讨论。

我们希望会员公司使用AV1以及将来的AV2,但不要求。

#4. 开放媒体联盟的成果

自2015年以来,开放媒体联盟取得了很多成就,会员也不断增加。

AV1和开放媒体联盟(AOM)的发展、成果与未来

目前有47名开放媒体联盟会员。更重要的是,不断有全球领军企业加入,比如苹果、三星和脸书,还有中国的领军企业阿里巴巴、华为、爱奇艺、OPPO和腾讯等。

AV1和开放媒体联盟(AOM)的发展、成果与未来

AV1和开放媒体联盟(AOM)的发展、成果与未来

2018年完成了AV1视频编解码器比特流标准,并相比HEVC有了显著的性能提升。

AV1和开放媒体联盟(AOM)的发展、成果与未来

此外,我们在一些重要终端上进行了快速推广,使这些终端上的服务可以使用AV1。爱奇艺、脸书、网飞、Vimeo和YouTube都先期通过利用个人电脑浏览器和安卓手机上的软件解码器来使用AV1。

AV1和开放媒体联盟(AOM)的发展、成果与未来

AV1也迅速被应用到视频会议应用程序中,这是在AV1的应用方面的一个非常令人兴奋的事情。思科最近宣布,在网讯上添加AV1支持;谷歌的视频聊天应用程序Duo也在使用AV1。实时通信服务在技术上要求很高,需要实时编码,而且曾非常依赖硬件加速。这充分说明了AV1软件的改进速度,以及使用AV1改善视频会议体验的能力。

我们与Duo合作尤其引人注目,通过AV1,可以用低于60kb/s的速度实现真正良好的视频聊天体验,每秒60千比特,我们可以花一分钟来想想这件事是多么有意义。也就是说以拨号调制解调器的连接速度可以进行的视频会议,凸显了新压缩技术的力量,它确实有能力去改善人们的生活。

AV1和开放媒体联盟(AOM)的发展、成果与未来

当时,许多合作伙伴都专注于研究VP9来实现4K或高帧率高清视频的能力。我认为至今许多流媒体服务都犯了一个错误,那就是只为高清视频引入新的编解码器而忽略了它们在标准分辨率和低分辨率中的作用。有一个一直都很明显的事实,那就是改进后的视频编解码技术能给那些宽带条件最差的人带来最大的体验提升。

在全球,几乎每个观看VP9格式视频的用户在YouTube上花费的时间都比观看H.264格式视频的用户多。但是,正如从上面这张地图中所看到的,在新兴市场,如巴西、印度尼西亚和北非的观看时间大增。因为视频开始速度更快,流媒体更流畅。而且比以前流媒体的分辨率更高。

现在,在互联网连接非常发达的地区如北美、西欧和亚洲部分地区,人们已经获得了很好的YouTube体验,新编解码技术让这个已经很好的体验更上一层楼,这些用户也在持续增加他们的观看时间。YouTube在尽力改善这些用户的体验的同时也降低了自己的流媒体成本。

AV1和开放媒体联盟(AOM)的发展、成果与未来

我们意识到,AV1这样优秀的编解码技术几乎可以做任何事情。可以在改善用户体验的同时降低YouTube的成本。这也是在继续开发下一代视频编解码技术时,谷歌团队在YouTube和其他制作团队中拥有非常热情的合作伙伴的原因之一。

#5. 下一个时代:AV2

这激发谷歌团队研究AV2,也是今天与你们讨论的主要原因之一。尽管目前仍处于AV1应用的早期,但我们已经在努力开发下一代视频编解码技术AV2了。

AV1和开放媒体联盟(AOM)的发展、成果与未来

过去一年,全世界的经历表明人们在工作、社交和娱乐中对视频的依赖程度是多么高,所以我们还有很长的路要走。可以看到流媒体视频和视频会议的使用量都在飞速增长。这使互联网的容量开始紧张。去年夏天,欧洲监管机构曾一度要求YouTube、网飞和其他流媒体服务降低分辨率以减轻互联网的压力。视频压缩的改进提供了一种快速提高网络吞吐量而无需构建昂贵的物理容量的方法。

AV1和开放媒体联盟(AOM)的发展、成果与未来

因此,谷歌团队希望与尽可能多的中国视频技术社区成员直接对话,让大家了解我们通过AV1取得的巨大进步。显然,大家不需要成为开放媒体联盟的会员才能使用AV1。更重要的是,在继续研究下一代媒体技术的时候,我们的团队正在寻找合作者。AV2要想获得成功,必须比上一代编解码器有显著的进步。这是一个艰巨的任务。

我们虽然有了一个良好的开端,但仍有许多工作要做,无论是在开发新的视频体验方面,包括抖音短视频和哔哩哔哩用户制作的新内容,还是在视频研发投资方面,中国都在视频研究和技术领域扮演着全球领先的角色。这就是我们需要中国公司或研究人员不管以任何形式来提供帮助的原因。你们可以向开放媒体联盟提供在全球尚不常见的可能来自中国的崭新的用例需求。

谷歌欢迎为AV2开发下一代视频编码工具而满怀兴奋的合作者。经验让我们知道,最好的想法可能来自于两个或更多的公司之间的合作或者一家公司和学术研究人员之间的合作。

因此,谷歌邀请大家都加入到开放媒体联盟中来,无论是通过使用AV1或是通过加入开放媒体联盟来表示支持,还是帮助设计和部署下一代视频和其他媒体技术。希望你们能与我们一起迎接这一挑战。

讲师招募 LiveVideoStackCon 2021 北京站

LiveVideoStackCon 2021 北京站(9月3-4日)正在面向社会公开招募讲师,欢迎通过 speaker@livevideostack.com 提交个人及议题资料,无论你的公司大小,title高低,老鸟还是菜鸟,只要你的内容对技术人有帮助,其他都是次要的,我们将会在24小时内给予反馈。点击[阅读原文]了解大会更多内容。

文章知识点与官方知识档案匹配,可进一步学习相关知识Java技能树首页概览91390 人正在系统学习中

来源:LiveVideoStack_

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年5月2日
下一篇 2021年5月2日

相关推荐