阿里云内部 WebRTC 研究分享｜ 内容合集

WebRTC 是 Web Real-Time Communication，即网页实时通信的缩写，是 RTC 协议的一种 Web 实现，项目由 Google 开源，并和 IETF 和 W3C 制定了行业标准。在国内 WebRTC 已经获得了越来越多厂商的支持，应用前景变得更加广阔，所以我们整理了此合集，分享阿里云内部的 WebRTC 研究工作。

1. WebRTC SDP 详解和剖析

本篇是阿里云视频云 WebRTC 技术专栏系列文章的第一篇，作者将从 WebRTC SDP 例子和关键属性的角度为大家深度剖析解读，其中也分享了阿里云技术专家的一些实践经验，希望能对大家有所帮助或者启发。

2. WebRTC ICE 状态与提名处理

大家都知道奥斯卡有提名，其实在 WebRTC 的 ICE 中也有提名，有常规的提名，也有激进的提名，而且提名的候选人不一定是最优秀的候选人喔，本文就带你一探其中玄妙。文章内容主要描述 RFC 5245 中 ICE 相关的状态和 ICE 提名机制，并结合 libnice (0.14) 版本进行分析。

3. 详解 WebRTC 传输安全机制：一文读懂 DTLS 协议

本文结合实际数据包分析 WebRTC 使用 DTLS 进行 SRTP 密钥协商的流程。并对在实际项目中使用 DTLS 遇到的问题进行总结。

4. WebRTC 传输安全机制第二话：深入显出 SRTP 协议

通过 DTLS 协商后，RTC 通信的双方完成 MasterKey 和 MasterSalt 的协商。接下来，我们继续分析在 WebRTC 中，如何使用交换的密钥，来对 RTP 和 RTCP 进行加密，实现数据的安全传输。同时，本文会对 libsrtp 使用中，遇到的问题的进行解答，例如，什么是 ROC，ROC 为什么是 32-bits？为什么会返回 error_code=9, error_code=10？交换的密钥有生命周期吗，如果有是多长时间呢？阅读本篇之前建议阅读DTLS 协商篇，两者结合，效果更佳哦！

5.上手 WebRTC DTLS 遇到很多 BUG？浅谈 DTLS Fragment

上一篇《详解 WebRTC 传输安全机制：一文读懂 DTLS 协议》详细阐述了 DTLS。本文将结合 DTLS 开发中遇到的问题，详细解读 DTLS 的一些基础概念以及 Fragment 的机制，并进一步深究 DTLS 协议。

6. WebRTC 音视频同步原理与实现

所有的基于网络传输的音视频采集播放系统都会存在音视频同步的问题，作为现代互联网实时音视频通信系统的代表，WebRTC 也不例外。本文将对音视频同步的原理以及 WebRTC 的实现做深入分析。

7. 深入浅出 WebRTC AEC（声学回声消除）

近年来，音视频会议产品提升着工作协同的效率，在线教育产品突破着传统教育形式的种种限制，娱乐互动直播产品丰富着生活社交的多样性，背后都离不开音视频通信技术的优化与创新，其中音频信息内容传递的流畅性、完整性、可懂度直接决定着用户之间的沟通质量。自 2011 年 WebRTC 开源以来，无论是其技术架构，还是其中丰富的算法模块都是值得我们细细品味，音频方面熟知的 3A 算法（AGC: Automatic gain control; ANS: Adaptive noise suppression; AEC: Acoustic echo cancellation）就是其中闪闪发光的明珠。本文章将结合实例全面解析 WebRTC AEC 的基本框架和基本原理，一起探索回声消除的基本原理，技术难点以及优化方向。

8. 详解 WebRTC 高音质低延时的背后 — AGC（自动增益控制）

前面我们介绍了 WebRTC 音频 3A 中的声学回声消除（AEC：Acoustic Echo Cancellation）的基本原理与优化方向，这一章我们接着聊另外一个 "A" -- 自动增益控制（AGC：Auto Gain Control）。本文将结合实例全面解析 WebRTC AGC 的基本框架，一起探索其基本原理、模式的差异、存在的问题以及优化方向。

9.白话解读 WebRTC 音频 NetEQ 及优化实践

NetEQ 是 WebRTC 音视频核心技术之一，对于提高 VoIP 质量有明显的效果，本文将从更为宏观的视角，用通俗白话介绍 WebRTC 中音频 NetEQ 的相关概念背景和框架原理，以及相关的优化实践。

10. 实战排查｜为什么遮挡推流摄像头，会导致播放绿屏？

做音视频的小伙伴们多少都遇到过奇怪的 BUG（如：卡顿、花屏、绿屏、变声等），表象上矛盾点颇多，推理得出的结论都是：“不应该啊！”，最终你抽丝剥茧，发现真相只有一个：“事出反常必有妖”！

11. 浅谈 WebRTC 的 Audio 在进入 Encoder 之前的处理流程

在 WebRTC 中，Audio 数据在被送入编码器之前，有 2 大部分需要特别关注，一是数据采集，二是 Audio Processing。

12. light-rtc: 理念与实践

在与同行交流过程中，发现很多同行对 WebRTC 改动太多，导致无法升级 WebRTC 版本。而 WebRTC 开源社区的快速迭代，让他们感到欣喜又焦虑：开源社区的迭代效果，是不是超过了他们对 WebRTC 的优化效果？我们针对特定场景优化 WebRTC 时，怎么紧跟 WebRTC 开源社区通用的优化？

13. 用 WebRTC 打造一个音乐教育 App，要解决哪些音质难题？

在去年疫情期间，在线教育行业获得了井喷式的发展，这背后的技术功臣非 RTC 莫属。本文将分享 RTC 技术在音乐教育场景下的实践经验。

14. 阿里云 RTC QoS 屏幕共享弱网优化之若干编码器相关优化

屏幕共享是视频会议中使用频率最高的功能之一，但在实际场景中用户所处网络环境复杂，常遇到丢包或者拥塞的情况，所以如何优化弱网环境下的用户体验也成为了音视频通信中重要的一环。本文主要分享阿里云 RTC QoS 如何通过若干编码器相关优化提升弱网环境下的屏幕共享体验。

15. 阿里云 RTC QoS 弱网对抗之变分辨率编码

变分辨率在弱网场景的实际应用中非常常见，网络状况不好的时候降低分辨率可以降低码率，减少块效应，网络好的时候增加分辨率可以提升清晰度及主观体验。

16. 阿里云 RTC QoS 弱网对抗之 LTR 及其硬件解码支持

LTR 弱网对抗由于需要解码器的反馈，因此用硬件解码器实现时需要做一些特殊处理。另外，一些硬件解码器对 LTR 的实现不是特别完善，会导致出现解码错误。本文为 QoS 弱网优化系列的第三篇，将为您详解阿里云 RTC QoS 策略中的 LTR 抗弱网原理与实现硬解 LTR 时遇到的坑及其相应解法。

17. WebRTC 的现状和未来：专访 W3C WebRTC Chair Bernard Aboba

WebRTC 无疑推动和改变了互联网视频，而这仅仅是刚刚开始，除了大家熟悉的 WebRTC-PC、Simulcast 和 SVC，有太多的新技术和新架构出现在 WebRTC 新的标准中，比如 WebTransport、WebCodecs、AV1、E2EE、SFrame、ML 等等，这篇文章详细介绍了未来的 WebRTC-NV，不容错过。