实时互动与智能互联网的未来关键技术

Webrtc 及实时音视频的发展及应用到了竞争白热化阶段，各大厂都推出了各自 Webrtc 产品，有的提供 Webrtc CDN 服务，Webrtc 的核心技术亮点无疑是最主要核心竞争力。RTE2021 实时互联网大会声网 Agora 首席科学家钟声分享了《实时互动与智能互联网》，分享了实时互动的业务挑战与关键技术。

业务挑战

内容消费+实时互动：催生许多新场景，成为近两年增长最快的业务

• 互动博客：一起聊天，话语平权

• 一起 KTV/一起看足球：共情

• 一起骑车/跑步/健身：虚拟赛场

• 一起作业/在线自习室：”纸上谈兵“

• 线上问诊：远程超声（诊断）

极地延时、如聚一堂的沉浸感、欢聚一堂的自然交互力

• 海量非结构化媒体数据需要被处理、理解、还原

• 感知、通信、计算一体化

• 在虚拟世界中感受真实：触觉互联网

• 一起购物/旅游

• 一起看电影

• 一起弹钢琴

• 体验：叙事延展、演绎

• （Human） Digital Twin

• 虚拟替身（Awatar）

关键技术

关键技术一：云、边、端技术

软件定义网络 SDN：通过 API 支持定制化和新协议持续演进，在计算、传输、显示上做到极致的极低延时。

• 加速”低延时端+边+云 Paas 系统

• 以 API 提供灵活、易用可编程的业务构建能力

关键技术二：如聚一堂的沉浸感

超高分辨率（8K、16K）、高帧率（120、240fps）的视频技术

• 压缩方法

• 新视频编码标准 VVC、AV1、AV2

• 3D/Point Cloud

• Learning based compression

• AR/VR/MR/XR/360video/多视角 video 视频

关键技术三：欢聚一堂的自然交互能力

提供强大的交互能力、表达能力、共情能力的 AI 技术

• 动作识别、姿态识别

• 表情识别、情感识别

• 环境感知、触觉感知

• 数字孪生

• 基于 AI 的 3D 建模

关键技术四：提升系统效率的 AI 技术

• 病理分析：1000 个分析师，每年要分析 6 千万个病理

• 如果判断准确率提升 1x，医疗效率可以提升 10x

关键技术五：智能泛在

• 如果大数据无处不在，只需小数据即可检索

• 利用 AI 算法来泛化智能，小数据驱动大数据

• 已有 identity 形象信息，只需小数据即可恢复视频

• 笑“逐”颜开：从关键点生成视频

• 音“融”笑貌：从语音生成视频

关键技术六：安全、可靠、高效的学习算法

• 分布式数据需要分布式的协作

• 云边端协同

• 分布式智能

• Federated learning,Meta learning, Transfer learning, Learning to learn

• 端设备智能化：需要极小 AI 算法和新型 AI 算法

关键技术七：基础能力持续提升：高性能端/边/云芯片，传感器，材料

• 计算、存储、智能芯片：

• DSA，RISC-V，异构，村算一体，神经形态学计算，量子计算

• 端芯片：

• 面积极小、功耗极低，可集成到 mm 级厚度的设备中

总结

通过钟总的分享对一些实时音视频领域的一些前沿关键方向有了一定的了解，以及可落地业务场景。