实时媒体 AI，打破内容创作天花板，加速视频创新

摘要：互联网视频经过几代发展，用户体验快速升级，对创新玩法、互动性要求越来越高。那如何解决这些问题？ 媒体 AI，是行业共识。华为云提供云原生实时媒体 AI 能力，联合伙伴打造 AI 算法开放生态市场，加速视频业务创新，云端特效就是其中一个用例。

随着视频业务不断升级，用户对体验的要求越来越高，比如要互动性更强、玩法更多样，体验更酷炫等。另外，直播业务、RTC 业务，内容同质化比较严重，内容创造、用户体验也都遇到了天花板，这些都需要一些技术去打破它。华为云跟斗鱼长期碰撞，共同探索后，得到一个命题：通过媒体 AI 去做这个事情。现在的直播视频里面有很多直播特效，包括像美颜、美型、虚拟主播、背景替换等，同时华为云面向在线教育的场景，也会有一些像课堂评测的能力，都是基于媒体 AI 去做的。

构建媒体 AI 目前面临的三大痛点

当前，媒体 AI 的构建有几大痛点：

1. 终端：类型多、算力弱。

目前很多的媒体 AI 能力都是在终端实现的，虽然终端的算力在不断提升，但像一些高复杂度的特效是做不了的，比如虚拟人物。背景替换当前的效果也很一般，你能看出一个明显的轮廓，当然更不要说实现对标电影级特效的背景替换了。

2. 云端：实时互动弱、成本高。

现在很多在云端去做的视频 AI，一般都是偏向于离线的业务，它对互动体验的满足性相对比较低。在直播实时互动的时代，这是无法满足需求的。而且因为音视频数据在边缘和云端源站相互传输，引入较高的带宽成本。

3. 创新门槛高、生态封闭。

现在 AI 的能力，各厂家都是独立开发，各玩各的，生态相对是比较封闭的。

华为云希望基于云原生，和伙伴一起构建一个边云协同的实时媒体 AI 的能力，去解决上述痛点，加速视频业务创新。

实时媒体 AI 的定义及核心价值

华为云给实时媒体 AI 做了一个定义，基于华为云原生的边缘、计算、容器、存储、网络等服务能力，构建丰富的实时媒体 AI 处理能力，同时联同伙伴打造生态开放的 AI 算法市场，加速视频业务创新，为客户提供差异化竞争力，为用户提供更优质的体验。

先举个简单的例子，我们把当前直播和 RTC 里端侧做的一些特效，通过边缘云的方式来实现，加入更多更酷炫的特效，比如效果更好的背景替换，提升互动性的 AR 卡通、虚拟人物等等。

当前，实时媒体 AI 还处在一个探索推进的状态中，我们希望其能实现如下 4 个核心价值：

1． 玩法更多。以后直播和 RTC 业务有更多的 AI 能力可以用，可以组合，来实现更多更酷炫的创新玩法；

2． 体验更优。有了这些创新玩法后，用户对实时互动的体验要求是比较高的，我们希望实现“延迟无感”的体验，与本地使用高端机是同样的体验效果。还有一点针对算法开发者来说的，可以基于云的平台，更快地发布、更快地开发，更快地去体验验证。

3． 成本更低。目前大部分媒体 AI 的能力是基于端侧实现的，因为一提到云侧，就会想到 GPU、各种硬件平台的成本会比较高，但我们希望能把这块的成本降下来。这里包括两个部分，一是用华为云统一的软硬件资源，提高资源的复用率，降低每一路资源成本，二是基于云上统一平台，一键更新，无需适配多种终端，来降低算法开发和 APP 更新的成本。

生态开放。我们希望构建一个开放的 AI 算法生态市场，避免各家闭门造车、各玩各的的状态，希望能通过 AI 算法的互通共享，来降低算法开发门槛。

这些核心价值的实现，都是基于云原生，下面将从实时媒体 AI 的云原生架构、实时处理框架、算法开放几个方面详细介绍一下如何通过云原生实现核心价值的。

实时媒体 AI 云原生架构

首先介绍一下实时媒体 AI 基于云原生的架构。

从下往上看，首先它是基于华为云的边缘节点，用华为云 IEF 边缘管理服务对整个的节点软硬件资源做一个纳管，进行调度。其次，框架基于华为云 EI 平台，提供 ModelArts 训练等多种能力，支持 Tensorflow、PyTorch 等主流深度学习框架。框架里还包含一个 SWR（镜像仓库）的服务，这个服务既可以集成发布华为 EI 自研算法镜像，也可以集成第三方基于 EI 的算法镜像。还有一个关键点要介绍，我们提供一个高性能边缘函数计算能力，这个能力实际上是面向实时媒体 AI 业务做的一个函数级处理框架结构，它可以非常高性能地将所有的 AI 算法实时调度到边缘节点上，并对边缘函数进行编排。实时媒体 AI 平台，用于卸载终端上的媒体处理能力，减少媒体处理适配不同终端平台的开发量，并保证不同终端平台体验效果一致，面向不同解决方案提供归一化的媒体处理能力。

我们通过这个架构，提供更多更优的媒体 AI 玩法，同时，它统一算法的创新发开平台，可以避免多终端适配。

实时处理函数框架

如前面所述，实时媒体 AI 的核心是实时，如何最大程度的降低端到端处理时延，让用户对延迟“无感”。

实时媒体 AI 除了将实时处理能力下沉到边缘，就近提供处理、降低链路时延之外，还重点构建了实时处理函数框架，用来降低处理时延。该处理框架主要以下几个方面降低端到端处理时延：1）基于华为云昇腾、鲲鹏等硬件，对 AI 算法、视频编解码算法做加速处理；2）通过高速总线加速 AI 算法容器之间视频原始数据传输；3）通过函数资源池预热机制提前加载 AI 算法，降低启动时延等。 整个处理流程，我们是希望能做到 100 毫秒以内，加上网络的时延，能做到 300 毫秒以内。这样的话，对用户而言，延迟是无感知的。

云原生算法开放

如前面所说，华为云不仅仅是构建一个实时媒体 AI 服务能力，更希望的是构建面向多种业务场景的实时媒体 AI 算法生态，希望更多的伙伴参与进来，一起推动业务创新、用户体验提升。

基于这个想法，华为云构建了一个算法开放的流程，包括所有实时媒体 AI 算法的标准算法接口和集成流程，也包括算法生态市场的构建，我们都会陆续的推出。这样的话，不管是基于华为 EI 平台去构建的 AI 算法，还是考虑到数据的隐私性，基于自己的平台去构建的 AI 算法，都可以通过这个流程集成到我们实时媒体 AI 里面。

实时媒体 AI 应用案例—斗鱼

基于华为云云原生 RTC 实时音视频服务以及实时媒体 AI 能力，斗鱼实现实时云端特效，将端侧难以实现的特效能力向云侧转移，为用户提供“延迟无感”的实时互动体验，促进业务创新，提升业务粘性。华为云领先的云原生技术，让斗鱼可以专注云侧创新，避免适配多种终端，快速验证创新效果，大幅提升研发效能。同时，还能避免 SDK 频繁更新带来的用户多次下载，提升用户使用体验。

基于华为云和斗鱼的算法，双方还构筑了一个富有想象空间的算法生态。面向未来，双方将持续深化合作，基于 AR/VR 提供更多创新玩法，结合华为云算法商城为主播带来更多场景选择，追求更优用户体验。

目前我们正在跟斗鱼一起做美颜、美型、滤镜、贴纸等实时云端特效，这些特效会集成在斗鱼的直播平台里面，后续虚拟形象、背景替换等特效也会陆续上线。

低时延云端美颜、背景替换 DEMO

第一个 DEMO 是当前跟斗鱼一起做的一个低时延云端美颜特效，里面包括美白，磨皮等一系列的处理。这个端到端的时延，目前我们在网络比较好的情况下，可以做到 150 毫秒。正如我们看到的两个对比视频，基本上是同步的，肉眼看不出差异性。

另外的一个 DEMO 是背景替换的。是一个知识视频里面做的背景替换。后面还会把背景替换效果做得更好，能像电影级的，比如说把背景替换和美颜美型、虚拟形象等组合叠加，做出更好更炫的效果。

华为云希望实时媒体 AI 是作为加速视频业务创新的一个关键手段，能够提供更多的处理能力，更优的互动体验，更低的创新成本，当然也希望更多 AI 算法合作伙伴们的加入，一起来共同打造一个开放生态！

本文分享自华为云社区《实时媒体 AI，打破内容创作天花板，加速视频创新》，原文作者：音视频大管家 。

点击关注，第一时间了解华为云新鲜技术~