云渲染可以解放本地计算需求，这意味着生产力的大幅提升。

云渲染的基本原理是将 3D 渲染应用部署到云端，接收本地的控制指令发送到云端，云端启动游戏引擎并进行画面渲染，编码成视频流传输到本地。

不难看出，云渲染技术的核心在于将计算搬到云端，对渲染出的画面进行流化的传输。而过程中渲染画面的抓取、编码、传输、显示等流程被称为串流。

串流是云渲染业务用户体验的核心，串流延时、画质、卡顿等都会直接影响到用户体验。

云渲染串流技术框架主要分为两部分：云端串流引擎和串流客户端。

云端串流引擎：在云端 GPU 上，响应客户端发送过来的控制指令，启动渲染应用并进行串流视频的处理与发送。引擎往下适配各种 OS 和硬件，往上对接调度和业务系统。

串流客户端：串流客户端类似一个播放器，进行串流视频的接收和编码，同时发送控制指令来操作云端渲染引擎。云端串流引擎和串流客户端通常是一对一的。

基于云渲染串流技术能够大幅度弱化本地 GPU 渲染应用压力，将复杂资源处理过程迁移至云端进行，本地计算需求退化为一个播放器。

01 云渲染串流的三大技术挑战

云渲染的核心技术指标与挑战主要有以下三方面：延时、画质与流畅度、成本（包括 GPU 计算成本和传输带宽成本）。

首先，延时是云渲染串流技术体验的基础，超低延时的需求则带来了巨大的技术挑战。云渲染串流过程中的延时主要分为两方面：

端到端的延时：音视频通话 250ms 以下延时已经难度很大，对于云渲染串流技术而言，想要将端到端延时控制在 100ms 内更是难上加难。

Motion to Photo 的延时：比如在 VR 云游戏场景下，使用头盔进行头部转动动作时，画面上的延时称作 Motion to Photo 的延时，为保障用户体验需要将该延时控制在 20ms 以内。

对于画质和流畅度来说，云渲染需要输出视频流，画质与流畅度作为用户直观的体验，其技术带来的挑战主要在以下三方面：

1.面临复杂网络环境与不稳定的带宽，能否保障画面清晰度与流畅度；

2.画质、码率、计算成本三角关系的平衡；

3.技术先进性和兼容性的平衡，如：更先进的编码技术 H265 虽然能够提升画质，但其解码性能和兼容性如何保障？

在成本方面，目前来看，云游戏、云渲染正在蓬勃发展，但离实现商业化盈利仍然路途遥远。首先，云渲染 GPU 资源存在一对一独占资源的特点，单用户消耗的计算资源较高。其次，云游戏存在明显的业务高峰，通常集中在晚间，其他闲时资源如何利用成为了一大问题。最后，如前文提到，云渲染对画质和帧率有较高要求，如何在保障用户体验的同时降低每个渲染进程的资源消耗。

02 多维度优化云渲染策略

延时优化

下图对全链路延时进行拆解，其中如指令传输、音视频流控 &QoS 等环节的延时波动较小，优化工作主要针对传输、编解码的延时进行。

传输延时优化

由于云渲染服务与理距离来减少延时，基于高覆盖的 ENS 边缘节点集群进行就近处理与传输，通过调度将任务下发至离用户最近的 GPU 节点进行处理与串流工作。

其次可以通过传输协议上的优化来减少延时。取代传统的 RTMP、HLS 协议，转向采用 RTC 协议进行传输，同时针对云渲染的场景特点来制定 QoS 策略，如带宽估计、拥塞控制等来实现优化效果。

编/解码延时优化

影响编码延时的主要因素是帧级的线程缓存、lookahead 缓存、B 帧。优化编解码延时的核心思路是“进一帧，编一帧，出一帧”，不进行任何缓存，用 slice thread 代替 frame threads，关闭 lookahead 与关闭 B 帧(在 HEVC 标准下，可采用 GPB 编码方式，将普通 B 帧用低延时 B 帧进行替代，既能提升画质又能降低延时)。

画质与流畅度优化

画质与流畅度呈现的关系如同跷跷板，为了保障用户体验往往需要在两者之间进行平衡。

在云渲染场景下，编码需要与网络进行联动，通过实现网络自适应传输与编码来优化流畅度：

带宽估计：根据网络情况动态调整编码器码率等参数；

拥塞控制：采用 BBR 或是 GCC 进行拥塞控制，如主动丢帧。BBR 策略收敛更快，通常更适合云游戏场景；

丢包重传：如前文所述云渲染采取就近传输方式，可以根据这个特点实现快速重传策略；

抗 I 帧风暴：由于 I 帧占用带宽较大，在 I 帧过多的情况下对于清晰度与流畅度造成较大影响；

控制 I 帧数量和大小

视频帧的类型分为 I 帧、P 帧、B 帧，其中 I 帧大小远大于 P 帧与 B 帧，I 帧密集容易引起卡顿，Intra refresh 策略能够有效解决此类问题。

通过将 I 帧拆分为多个 I slice 并按顺序平铺到连续的帧中，有效控制 I 帧的梳理。出现丢帧后可依次排序组合恢复出完整的一帧。

VBR+VBV 码率控制策略

CBR 码控策略可以使得码率平稳，保障流畅度。但考虑到云游戏场景画面运动剧烈，因此固定码率会造成部分帧画质较差的问题。需要在画质与流畅度间取得平衡，推荐采用 VBR 算法+VBV 参数的方式控制码率波动，使得码率能够在一定范围内实现“平稳”地波动。

云端协同的 CodeC 选择

在当前环境下，手机终端大多已经支持 H265 解码，云端 GPU 也大多支持 H265 编码。如果云和端都支持 H265 解码，通过云与端的协商，在云端优先进行 H265 编码，能够在同等清晰度下使码率降低 20%~40%。

CPU+GPU 混合的窄带高清编码

单独使用 CPU 编码成本高、延迟大；单独使用 GPU 编码灵活性差、画质差。可融合 CPU 与 GPU 编码能力，采用 GPU 为主、CPU 为辅的混合编码策略。

阿里云窄带高清编码技术，通过视频增强处理和编码的联合优化，能够在码率相同时显著提升画质。或者使码率在降低 30%～60%的情况下，视频画质仍然持平甚至有所提升。

但云渲染场景与普通的视频特点差别较大，且通常需要采用硬件编码。需要思考如何在低延时、场景快速切换、运动剧烈的情况下优化 GPU 编码的画质与流畅度。后文将结合三星堆云渲染场景，介绍阿里云在云游戏场景的窄带高清效果。

成本优化

解决基础体验问题后，成本问题成为云渲染、云游戏商业化面临的最为突出的挑战。

云渲染成本主要可以分为三条线：单任务实际 GPU 资源消耗， 单机资源利用率， 总资源池利用率。成本优化策略需要围绕如图所示的三条线展开。而在实际场景中云渲染成本优化还存在以下四方面的问题：

1.单进程资源消耗大

2.CPU<-> GPU 内存拷贝效率低

3.单机资源利用率低

4.业务并发时间集中

从以上四个角度出发，接下来将详细介绍如何实现云渲染成本优化。

单任务资源消耗优化

GPU 硬编码：GPU 渲染单元与编解码单元独立，在渲染的同时可以应用 GPU 进行编码工作，有效降低 CPU 消耗；

CPU<-> GPU memory zero copy：由于 CPU 与 GPU 的排列方式，处理图像帧的格式、内存的 layout 存在差异，因此需要构建全 GPU 处理的 pipeline，减少 CPU 在过程中的参与度，可显著提升性能，降低延时；

CUDA 加速：图像缩放/颜色空间转换等可用 CUDA 加速；

单机资源利用率-虚拟化与多开

当降低了单进程资源消耗后，通过采用虚拟化与多开技术能够有效提高单机资源利用率，一张卡上同时运行多个渲染进程。实际上，GPU 的虚拟化技术为云游戏、云渲染的大规模商业化落地奠定了基础。

集群资源利用率-业务混跑

实际情况下，仅通过上诉两种方法依然难以解决成本问题。实现业务混跑，提高集群资源利用率，是云游戏、云渲染技术真正实现普惠的关键。其核心在于利用不同的视频处理高峰时期，对 GPU 集群进行分时复用。如在白天时段利用 GPU 集群完成离线 AI 处理工作，晚上 6～8 时进行直播转码处理工作，在 9～11 时进行云渲染、云游戏应用处理工作。基于业务的多样性，充分利用总 GPU 资源池，有效降低云渲染成本。所以视频云业务的多样性也是降低成本的重要优势。

03 云渲染实践案例一键开启三星堆奇幻之旅

CCTV《三星堆奇幻之旅》采用了阿里云的大规模即时云渲染技术，将大型沉浸式体验需要的图形算力、存储需求放在云端，观众看到和交互的画面都是由云端即时渲染计算出来，从而让观众摆脱本地硬件限制，仅通过一个 H5 页面，便可低成本地享受高质量的沉浸式体验。作为高热度、高并发的云渲染应用，该实践案例支持 5K 的并发，预备万路弹性，最终登上微博热搜 TOP 3，收获了 3300 万播放量。

这样热度和规模的活动，要保证每个用户的高体验，对技术上的要求和挑战都是巨大的，阿里云构建了多个维度的技术体系来提升用户体验。

阿里云视频云的 GRTN（Global Realtime Transport Network）低延时网实现边缘传输，有效降低传输方面的延时。GRTN 是阿里云各个音视频通信业务方合力打造的传输网，支持 HTML5 的信令接入。GRTN 采用层级网和对等网相结合的混合网络架构，媒体传输链路更短，全链路采用延时更低的基于 UDP 的 RTC 协议，并利用深度定制的动态路由、传输控制、边缘计算、双向实时信令网等机制。视频云云考古机制是基于 GRTN 设计，可接入视频云直播、点播和 RTC 等业务，便于全球实时传输，实现业务扩展。

RMS 云渲染引擎也为三星堆项目体验发挥了非常重要的作用。RMS 负责渲染视频的采集、处理、编码和传输。RMS 的处理性能和延时、编码画质、QOS 的传输体验都直接影响三星堆项目的用户体验。

游戏/渲染引擎输出的图像帧一般都是显存中，如果采用 CPU 软编或者 ASIC 异构编码的方式，会存在拷贝延迟。因此 RMS 采用 GPU 硬件处理为主、CPU 处理为辅的方式，达到视频帧 zero-copy 的极致延迟体验，在满足画质、流畅度需求的前提下，充分降低性能消耗和计算成本。

同时，RMS 在 QOS 策略上也做了大量的优化。本次云考古面向的是全国各地的观众，为应对复杂多变的网络环境，我们在 RTC 网络的传输 Qos 保障的基础上，对 Jitter Buffer/NetEQ/带宽估计/可靠传输(丢包重传、乱序重组)，以及 Qos 模块和编码模块的配合上做了专门的调整，包括智能策略组合、智能码控、丢帧逻辑和 FIR 处理等方面。同时，在 QOS 的码率分配上，我们也做了大量优化，可以在保障抗弱网能力的同时，将有限的带宽更多地分配到编码器的码率上，提升视频清晰度。

在视频编码算法方面，我们利用云渲染场景深度优化的窄带高清技术来提升清晰度。通过云端 GPU 与客户端 CPU 的联动，进行内容自适应的纹理和色彩增强处理，有效提升了视频画质，且算法的性能和成本都大幅降低，对全链路延时和客户端功耗的增加都达到可以忽略的程度。而图像处理算法与编码算法的有机结合优化，可在保证画质的同时，显著降低了视频码率大小和码率波动。

最终的效果呈现如上图所示，左侧仅仅采用 GPU 进行编码，色彩相对暗淡、文字相对模糊，画面饱和度、对比度相对较差；右侧通过我们的 GPU+CPU 联合优化的窄带高清处理，在码率降低 35%的情况下，VMAF 提高 10%，主观的画面纹理细节和色彩效果也有提升。

面向未来，云渲染串流技术发展方向已经明晰，一方面通过与 AR、VR、XR 进行结合，打造沉浸式的云渲染体验。而其中关键的 20ms 以下的 Motion to Photo 延时，则是突出的技术挑战，可以考虑采用异步渲染的方式进行延时优化。

另一方面通过与虚拟社交、音视频通话与直播进行结合，向交互式、综合式的应用方向发展。云渲染串流与 AI 算法、直播技术、RTC 音视频通话技术的结合，是未来技术的演进方向。我们的 RMS 云渲染引擎支持多种 AI 特效、直播旁路直播与 RTC 云合流，为未来云渲染的技术综合性要求打下了基础。