Ali266 首次商用落地,助力优酷码率最高节省 40%
阿里云自研编码器 Ali266 于 2022 年 1 月在优酷正式上线,这是已知的业界首个 H.266/VVC 标准的编码器商用落地项目。经过两个月的实际运行数据显示,开启 Ali266 后,同等画面清晰度的情况下比原 H.265/HEVC 方案码率最高节省 40%,卡顿率降低 50%,充分证明了 Ali266 的商用价值。
这是已知的全世界最快的 H.266/VVC 编码器
Ali266,是阿里云基于最新一代国际视频编码标准 H.266/VVC 所打造的面向点播、直播、实时通信等不同场景的编解码实现。基于 Ali266 演化而来的自研 H.266/VVC 编码器 S266 在 MSU2021(世界编码器大赛)上取得了客观赛道 8 项第一,主观赛道冠军的优异成绩。从已公开的资料可知,Ali266 是目前全世界最快的 H.266/VVC 实时高清编码器,结合自研的 H.266/VVC 解码器,即使是中低端手机也可清晰流畅地观看最新的 H.266/VVC 高清视频。
Ali266 首次商用,助力优酷
阿里云一直在探索推动 Ali266 的商用之路,2022 年 1 月 Ali266 在优酷正式上线,助力优酷率先用上了国际最新的 H.266/VVC 视频编解码标准。通过近 2 个月的实际运行显示,开启 Ali266 后,同等画面清晰度的情况下比原 H.265/HEVC 方案码率最高节省 40%,卡顿率降低 50%,在成本和用户体验上获得显著收益,充分证明 Ali266 的商用能力。
阿里云凭借在视频编解码领域的深耕和积累,致力于推动 H.266/VVC 标准的实用化和最新科技成果的普惠化。优酷是中国领先的在线视频平台,现支持 PC、电视、移动三大终端,兼具版权、自制、合制、自频道、直播等多种内容形态,致力于用更丰富的口碑内容、更极致的视听体验、更创新的互动玩法。
提供这些应用体验的背后,是一系列非常复杂的技术,其中最核心、最基础的技术之一,就是视频编解码技术。为此,阿里云与优酷团队密切合作,将 Ali266 首次商用落地,第一时间上线国际最新发布的新一代视频编解码标准 H.266/VVC,让优酷充分享受视频编解码标准升级带来的技术红利。
H.266/VVC 标准的由来
说起 H.266/VVC 标准的由来,不得不提国际上的两大巨头:国际标准化组织及国际电工委员会 ISO/IEC 旗下的动态图像专家组 MPEG(Moving Picture Experts Group) 和国际电信联盟电信标准分局 ITU-T 旗下的视频编码专家组 VCEG(Video Coding Experts Group)。这两大巨头从 20 世纪 90 年代初分别发布第一代视频编解码标准 MPEG-1 和 H.261 开始,经历了 30 多年的时间。大家所熟知的 H.264/AVC、H.265/HEVC,都是两大巨头通力合作的成果。
继 2013 年发布 H.265/HEVC 以来,两大国际标准化组织 ITU-T 和 ISO/IEC 继续强强联合,于 2020 年 7 月发布 H.266/VVC 的第一个正式版本。如图 1 所示,H.266/VVC 在包括图像分块、预测、变换、量化、熵编码和环路滤波等环节提供了多项先进的视频编码工具,较上一代 H.265/HEVC 标准,其压缩率大约提高了一倍。
在叶琰博士的带领下,阿里云从 2019 年年初开始深度参与制定 H.266/VVC 标准的制定。历时一年半的时间共提交了近 100 篇技术提案,并有多项技术提案得到采纳,为国际标准的制定做出了重要贡献,也为阿里巴巴的业务发展建立了坚实的技术基础。在 H.266/VVC 的制定过程中,阿里云标准团队成员也担任了多个专题讨论组(AHG)和多个核心实验的负责人,在国际标准舞台上发出中国视频产业界的声音。
Ali266:完整的 H.266/VVC 实时高清编解码能力
在紧跟 H.266/VVC 的标准化进程的同时,阿里云也第一时间启动了 Ali266 编解码器的开发项目,打造完整的自成一体的编解码能力,更好地打开端到端的生态,为业界提供新一代视频编解码解决方案。
在解码端,Ali266 解码器通过多核并行、汇编优化、内存占用和访存效率优化等一系列工程和算法的优化手段来提高解码速度。集成 Ali266 解码器的中低端手机也可清晰流畅地观看最新的 H.266/VVC 视频或直播,近几年发布的旗舰机型甚至可支持 4K@30fps 的实时解码。
此外,Ali266 解码器在稳定性、鲁棒性、内存占用等方面充分考虑了商业化软件的需求,经过 Android、iOS 等多款高中低端设备的大规模测试,验证了 Ali266 解码器的鲁棒性、稳定性和可商用性。
在编码端,为满足不同的业务场景需求,Ali266 编码器目前支持 slow、medium、fast 和 faster 四大档次。其中,slow 档次主要适用于离线应用,编码速度与 x265 veryslow 档次相当。
在 MSU 主办的 2021 年世界编码器大赛中,Ali266 slow 档次通过阿里巴巴音视频小组命名为 S266,获得了全高清(FullHD)客观性能赛道 14 项评测指标中的 8 项第一,4 项第二,2 项第三;在主观性能赛道,S266 更是在全球 16 款参赛编码器中以大比分优势获得第一,在与 MSU 官方指定的基准编码器 x265 相同的主观质量下,带宽节省高达 71%。MSU 大赛结果显示,S266 是唯一一个所有指标都进入前三的编码器,充分证明了 S266 在各指标下全面均衡的编码性能。
为了实现 H.266/VVC 标准的实用化和最新科技成果的普惠化,经过阿里云团队的持续努力,Ali266 于 2021 年 6 月成为业界首个公开 720p 实时高清的 H.266/VVC 编码器,并于同年 9 月成为业界首个公开 1080p 实时高清的 H.266/VVC 编码器。
与 x265 medium 档次相比,在相同的质量下,Ali266 的 faster 档次取得的带宽节省高达 40%以上,为直播和视频会议等实时视频应用带来巨大的带宽红利。作为第一个实时高清 H.266/VVC 软件编码器,Ali266 在业界走出了重要的一步,证明了现有的算力平台就可以让用户充分享受到国际最新标准 H.266/VVC 的强大压缩能力。
Ali266 首次落地优酷背后的技术方案
移动端接入方案
优酷播放内核将播放流程高度封装成 Consumer、open Source、open Decoder、openRender 这几个模块。openSource 从网络端拿到原始数据,解复用成音视频 es 数据并进行缓存管理,Consumer 将数据不断的从缓存取出送到 openDecoder,并从 openDecoder 拿到解码后的数据,然后将数据交给 openRender 渲染以及做相关后处理。他们的大致关系结构如图 2 所示:
openDecoder 与解码器之间的交互如图 3 所示。openDecoder 会将待解码的数据 Send 给解码器,然后从解码器 Receive 解码后的数据,Send 和 Receive 都不 block 播放流程。解码器内部维护输入输出 buffer,Send 将数据 copy 到 input packets,worker 从 input packets 拿数据解码,解码后的数据被存入 output frames,然后 Receive 就能拿到有效数据去渲染。
优酷播放内核的跨平台、可扩展、高可靠特性保障了 Ali266 快速顺利的在优酷平台上落地。播放内核是 native 层开发的,具备天然的跨平台特性,所以接入 Ali266 之后,不需要做太多额外的开发就可以在多个平台迅速发布,这也为 Ali266 快速在业务端铺量提供了保障。openDecoder 封装了所有解码相关的逻辑,对外只暴露几个简单接口与内核完成逻辑交互,所以要接入 Ali266 软解码器,只需要实现 openDecoder 的关键 api 即可,将解码器与播放器的复杂逻辑剥离开来,方便快速接入新的解码器。播放内核实现了智能平滑丢帧系统,可以在极端情况下丢弃部分非关键帧从而保证视频画面流畅播放。借助播放内核完善的质量监测系统,Ali266 的线上播放质量得到全面监测和有效保障,使国际最新一代编解码标准在优酷的升级如丝般顺滑。
服务端接入方案
优酷转码服务端当前支持不同编码器(H.264/AVC、H.265/HEVC 等),不同分辨率(270p 到 8K),不同帧率(25fps/60fps/120fps 等)、不同封装格式(mp4/hls/cmaf 等)等上百种组合方式,服务端可以依据端侧播放能力来下发不同的流数据,来保证用户的体验最优。
在优酷转码系统中,Ali266 的接入主要包括编码器接入,解码器接入以及封装格式对 H.266/VVC 的支持,所涉及的模块与转码流程如下图所示:
封装层:优酷常用封装格式主要是 MPEG-TS 和 MP4,服务端在 Demux 和 Mux 模块中实现了对 H.266/VVC 码流封装和解封装的支持。
编解码:通过在转码器中对 Ali266Encoder 和 Ali266Decoder 的注册和 API 调用来完成编码和解码的接入。在生产链路中为了正确探测 H.266/VVC 码流参数信息,在 Demux 模块中集成了对 H.266/VVC 码流的 Probe、Parser 能力以及 Ali266Decoder。
为了使 Ali266 编码器能够更好的适应优酷应用场景,优酷服务端与阿里云团队相互协作,做了针对性的适配:
(1)为了提升 H.266/VVC 视频的播放效果,对编码器支持了编码参数信息重复下发能力,保证了用户快进快退和拖拽播放时的体验。
(2)为了视频的画质与流畅性,对 Ali266Encoder 针对性地做了码率控制优化,在保证视频画质的同时,降低码率波动,将播放端卡顿率相比 H.265/HEVC 降低了 50%。
(3)为了适配优酷的智能档多清晰度随带宽平滑切换,在 Ali266Encoder 中对时间戳处理进行优化,使得音视频时间戳与其他格式码流(H.264/AVC、H.265/HEVC)保持一致,确保了优酷智能档无缝自适应切换。
(4)实现了优酷现有 MP4/MPEG-TS 的流媒体封装格式对 H.266/VVC 标准的支持。由于 H.266/VVC 标准发布时间不久,各种媒体处理工具还没有支持对 H.266/VVC 的封装。为此,优酷开发人员按照 MPEG 官方文档,在 MP4 box 与 TS 的 PMT 中使用官方定义的 CodecId,与播放器配合打通了整个生产播放链路。
除此之外,在生产链路中优酷也针对 H.266/VVC 做了分辨率-清晰度档位的规格定义,并在播放服务端可以依据端侧支持能力自适应选择 H.266/VVC 合适档位的视频流下发,使 H.266/VVC 编码在优酷生产播放链路上整体落地,并达到了预期的效果。
业内首款 H.266/VVC 商用落地结果
Ali266 于 2022 年 1 月份在优酷移动端正式上线,成为目前已知的业界首个 H.266 的商用落地项目。上线后截至 3 月 23 日,已经累计播放超过六十万次。各项指标如下:
码率:同等清晰度情况下比 H.265 码率降低高达 40%;
体验:同等情况下卡顿率只有 H.265 的 50%,平均解码耗时在 8ms 左右,稳定性超过 99.95%;
功耗:满电可 H.266 软解播放 10 小时,节省流量达到 1G;
内容:涵盖了热门的综艺、电影、电视剧等多种场景,如《古董局中局》、《长津湖》等电影,《麻花特开心》等综艺,《真相》等电视剧。
未来,持续进化 Ali266 的商用之路
据了解,联发科在 2021 年下半年发布了全球首款 7nm 工艺制程打造的电视 SoC 芯片 Pentonic 2000,也是世界首批支持 H.266/VVC 视频解码的芯片,具有 8K/120Hz 的解码能力。这对于完善 H.266 的生态,是个巨大的助力。可以说,H.266/VVC 不是将来时,而是实实在在进入了现在进行时。
Ali266 紧扣最新技术发展趋势,与音视频产业紧密结合,不仅给优酷提供了业界领先的编解码技术,也赋予了业务更多的可能性。为了进一步满足对优酷丰富的内容形态及业务场景的支持,挖掘新技术带来的红利,促进视频产业不断向前发展,接下来阿里云将会与优酷一起紧密合作,针对 10bit HDR、优酷自由视角、超高清 4K~8K、高帧率 60fps~120fps 等视频内容,并从点播场景进一步拓展到直播场景,持续持续推进 H.266/VVC 编解码的技术创新,不断探索创新音视频技术,加强其在更多视频应用、更多终端设备上的普适性,将更多的技术普惠到广大消费者,赋能千行百业的视频化需求,催生新兴产品形态和业务模式,为观众带来更极致的视听体验和更创新的互动玩法。
「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实践技术文章,在这里与音视频领域一流工程师交流切磋。公众号后台回复【技术】可加入阿里云视频云产品技术交流群,和业内大咖一起探讨音视频技术,获取更多行业最新信息。
版权声明: 本文为 InfoQ 作者【阿里云视频云】的原创文章。
原文链接:【http://xie.infoq.cn/article/3fea27076ca11bec632c1255e】。文章转载请联系作者。
评论