阿里云张新涛：支持沉浸式体验应用快速落地，阿里云云 XR 平台发布

2022 年 7 月 20 日 14:00，阿里云联合平行云推出的云 XR 平台新品发布会正式启动，阿里云弹性计算产品专家张新涛带来了题为《支持沉浸式体验应用快速落地，阿里云云 XR 平台发布》的分享。

阿里云 XR 平台提供算力调度、3D 实时渲染、音视频编码与推流、应用发布与用户管理等服务。开发者可将应用发布托管到云 XR 平台，用户可以使用 AR/VR/MR 等多终端加入到云 XR 平台与 3D 应用交互并体验。以下是他的演讲内容整理，供大家阅览：

01 从单项交互到全要素交互演进

如今，沉浸式体验是一个异常火爆的词，而提到沉浸式体验就不得不提到全要素交互。

人类媒体的发展趋势是从抽象到具体，逐步还原真实的世界。那么，全要素交互如何实现？目前来看，可以通过沉浸感叠加实时交互。人类天生乐于社交，并且充满好奇心，这也是发展的动力。

人类的幼儿认知世界的方式是触碰，这也是一种更高效的认知方式。依据人类的认知模型，更加接近真实的模拟实践是仅次于费曼学习法的学习方法。学习效率的提高无疑也能提高生产效率，这也是阿里云出品云 XR 平台的初衷，希望帮助全社会、全行业提升创造力和生产力。

02 云计算视角下的沉浸式体验及商业技术挑战

下图中七层模型非常系统地将整个业务分为体验、发现、创作者经济、空间计算、分布式、人机接口、基础设施 7 层。

左侧的七层模型映射到右侧云计算常见的应用领域后，对云计算产生了新的需求，而这些新的需求依然围绕着用户体验展开。简单总结来说，Metaverse 全要素的沟通方式带来了前所未有的影响，对云计算来说也带来前所未有的挑战。

沉浸式带来的挑战主要来自于计算、通信以及商业模式。

Metaverse 带来的交互方式让计算变得更复杂。以 PC 到手机的发展过程为例，最早期与 PC 的交互方式只能通过显示器和键盘鼠标，后来出现了网络摄像头，但交互依然十分简单，导致 PC 上的应用也十分简单，数据量少，计算量也很少。最终使得很多业务使用本地计算能力即可胜任，比如处理文档等简单计算。

手机端的出现带来了巨大变化，交互设备变得更多，除了多点触控的显示屏、不同分辨率的摄像头，还包含各种传感器，比如加速度传感器、温湿度传感器、红外传感器、距离传感器等，这些传感器带来了更多信息，也使得手机上的应用变得丰富多彩。随着需要处理的计算越来越多，手机应用的部分计算转移到了云上，也引入了 GPU 这样的加速器。比如在 AI 和游戏计算场景，会调用云上的计算能力来帮助获得更好的用户体验。

发展到 XR 体验后，计算场景愈发丰富，比如有手势识别、终端设备的语音识别等，而这些新的交互方式需要耗费更大的计算能力。

整个产业面对新的交互方式升级的时候，需要升级的不仅是技术，商业方式也需要有十倍的升级，主要来自于对计算、通信和商业生态的要求。

沉浸式体验对计算的挑战来自几个方面。此前的计算更多是 CPU 上的计算，而沉浸式体验下的计算更多是对 3D 模型的实时渲染、对 AI 场景的计算以及对流媒体的编码和解码，这些都需要非常密集的计算能力。互联网的用户群体也随之成倍增加，需要更多计算资源来处理业务，需要巨大的规模。

通信上，需要更低延迟的通信做实时交互、大规模的 AI 模型训练，也需要更大带宽的通信来做更高分辨率视频的传输。

此外，生态的开放程度也需要进一步提升。相对于其他产业，沉浸式体验产业涉及的上下游涉企业更加丰富、多样，技术栈也非常复杂，所以需要更加开放的生态来，各个行业互相协作。不仅要让所有厂商保持一种开放的态度，更需要帮助大家建设统一标准、统一协作规范，一起将产业做大。

阿里云将过去 10 年解决的技术问题沉淀在神龙架构上。2017 年我们引入了神龙架构，不断降低 IO 延迟，提高 IO 带宽和吞吐能力。2021 年云栖大会期间发布的第四代神龙已经可以将网络转发的时延降低至 15 us。

除了提升通信能力，我们还在不断提升计算能力。过去的数年间，阿里云 GPU 实例的计算能力提升了 100 倍。2021 年发布了 7 代 GPU 实例，在 AI 计算、 AI 推理以及沉浸式体验图形计算场景下有了巨大的计算能力升级。

此外，我们也在不断地扩大计算规模，到目前为止，计算能力已经超过了 1700p 。

相比于技术建设，生态建设更为重要。

03 提升效率与生态能力的产品能力建设

要繁荣行业，最关键的是梳理生产关系。我们希望与合作伙伴以及客户一起共建产品体系，将这套生态体系做得更加完美。

异构计算方式一直是公认比较难以使用的，为此我们联合研发团队，在几个主要的应用场景里做了许多优化。在图形计算场景、AI 计算场景以及流媒体计算场景封装了诸多非常高效且好用的工具，帮助用户提升效率，提升产品的经济性和易用性。

在此基础上，我们还构建了视觉计算体系，希望将整个产业所有应用场景的需求都放至云上进行推广。

04 云 XR 平台重磅发布

云 XR 平台是阿里云与平行云合作，共同打造面向企业级 3D 应用托管与发布的实时渲染平台。除了支持平面设备，还可支持 VR、AR、MR 等 3D 终端设备，帮助用户获得更好的用户体验，用户可以将自己的 3D 应用部署在云 XR 平台上进行发布。

目前，平台的能力已经在不同行业得到了验证。

公共云上的云 XR 平台相比于私有部署具备更大的优势。

05 了解云 XR 平台

目前支持云 XR 平台支持基于 T4， A10 和 RTX 6000 的 GPU 实例，包含英伟达 vDWS 的 license，使用十分简便。

T4, A10 和 RTX 6000 都包含 RT core 和 tensor core 等关键特征，也包含了硬编码 codec 单元等，可以帮助获得更低延迟的串流。同时，A10 和 RTX 6000 搭载于神龙计算架构，能够获得更低延迟的 IO 。

云 XR 平台支持 Windows server 2016 和 Windows server 2019，支持大部分主流的 3D 引擎，大部分终端都可以通过 SDK 或 app 的方式接入，XR 终端支持包括 Quest2、HTC VIVE、Pico Neo3、Nolo 等。平面可以通过终端 App 、SDK 、网页或小程序直接访问。

无论 3D 应用最终以 VR 的形式呈现还是以平面设备的方式呈现，将业务部署到云上的流程都是类似的。以 VR 为例，通过设计和建模阶段将设计好的模型导入到 3D 实时引擎里进行编辑和开发。开发完成的应用需要支持 Steam VR 和 open XR 。完成支持之后，将应用进行封装并做适配，即可在云 XR 平台上进行发布。

平面 3D 应用的部署流程类似，区别在于不需要支持 Steam VR 和 Open XR 。

云 XR 的场景应用场景主要分布在两个方面，分别是消费端业务和企业端业务。消费端业务致力于给终端用户带来更多乐趣，企业端业务致力于帮助企业带来更高的效率和创造力。

消费端的常见业务有 VR 游戏、电竞，线上交互演唱会、虚拟人直播，电商场景下的 3D 产品展示；企业端的业务场景包括科研和教学领域、基于 Metaverse 的展会/博物馆、3D 会议、制造业或工业中应用的虚拟仿真、通过数字孪生助力企业培训以提高效率以及服务型数字人等。

无论是企业侧业务还是消费端业务，通过云 XR 平台都可以轻松地将这些应用部署到全世界各个角落，服务世界各地的用户。

云 XR 平台的典型用户包括彼真科技、拜科生物以及工程热物理研究所等。

「彼真科技」是一家领先的专注于在线演唱会的技术公司，过去半年多时间已经在阿里云举办多次线上演唱会，最近一次演出，同时在线人数超过 30 万，报名人数超过百万。

「拜科生物」是目前世界上最优秀的医学数字人技术企业，他们有着世界上最先进的生物体 3D 重建技术，目前已经将医学数字人进行封装后用于临床学习研究，并在云 XR 平台上发布。

清华大学的热工所通过云 XR 平台实现了很多大型装备的仿真模拟，后续也会通过云的方式将这些能力对外开放，为科研提供便利，以上就是我今天的分享。

拓展延伸：

云 XR 平台落地的过程中，阿里云主要提供超强云端算力，及自研流媒体编码技术，平台层则由平行云对渲染、编码与推流等服务进行高效封装，集成了阿里云底层 IaaS 能力，支持 NVIDIA CloudXR 平台。

点击这里，观看本次发布会精彩回放。