2023 年实时音视频行业观察 - 黄金时代彻底过去

过去几年大家都笼罩在裁员的阴影了，一年更比一年难，各行各业都是类似的问题。实时音视频在疫情期间大放异彩，随着去年年底疫情管控的放开，以及以前教育行业的整顿，实时音视频一下走完了它短暂的黄金时代。

本人实时音视频从业十年，本文简单介绍实时音视频领域的一些知识，总结 23 年行业遇到的问题和出现的机遇，展望 24 年可能的趋势。

1、什么是实时音视频？

典型实时音视频场景

实时音视频和传统直播有什么区别呢？直播是单向的，就像我们看电视，而实时音视频一般是双向的，就像我们的电话一样，我们用到比较多的直播连麦，就像是之前的电视购物一样，是电视和电话的集合。下面是这种连麦场景的一个典型架构：

实时音视频用到的另一个场景是视频会议，下面是一个视频会议的典型架构：

相比直播连麦，多了会控管理，但实质还是 rtc + rtmp。

webrtc 介绍

rtmp 最开始是 adobe 的一个私有协议，后面成了直播的主流协议。webrtc 作为 rtc 的一个通用实现，是目前最主流的实时音视频协议。WebRTC 经历了一下三个主要发展阶段：

1. 探索阶段（2011-2014）：对于浏览器厂商来说，是一个该不该兼容使用它的阶段；

2. 增长期（2015-2019）：对于浏览器厂商来说，是一个怎么用的阶段；

3. 差异化期（2020 年后）：除了浏览器厂商，zoom 等视频会议客户端等开始活起来，是一个如何完善的阶段。

2、23 年实时音视频行业现状

23 年各大厂的主旋律都是“降本增效”，实时音视频做了成本项中的大头，成了降本的主要目标，一些边缘产品，白板，播放器等都逐步从 paas 厂家切到自研，一些直播场景从 rtc 切换会 rtmp，这些成了技术降本的主要手段。

另一方面，从阿里到滴滴的大厂故障给其他公司带来了警示，单一供应商带来的安全隐患太大，所以业务方又开始多云建设，可以依赖多个供应商，但其实蛋糕并没有增大，只是分的人多了。对 Paas 厂商来说，各个行业业务规模的缩水造成了自身业务规模的下降。

看完 paas 厂商，再看看供应商开源情况：

在 2021 年，浏览器中的视频背景模糊和背景替换开始成为主流；2022 年，专有编解码器和噪声抑制等功能，开始在 WebRTC 应用程序和技术方案中建立起坚实的基础。这方面典型的代表性商业用例就是 Dolby Voice 专有编解码器，以及 Twilio 与 Krisp 在噪声抑制方面的合作协议。

下面是一个 zoom 股价和 chrome 中的 webrtc 使用量曲线叠加：

WebRTC 的使用量从 22 年还保持在疫情前的 3 到 4 倍。但可以整个 2022 年内 WebRTC 用量开始持续减少，而且这种下降趋势持续到了 2023 年。最终 WebRTC 的使用量稳定在 2020 年初的 3 倍左右。

在看看目前 Webrtc 开源现状：

1. Kurento 仍然没缓过来，仍在持续下滑；

2. Janus 表现不错，跟一年前一样；

3. Jitsi 在组会议功能中仍扮演重要角色，是在线会议的主要选择；

4. mediasoup 发展不错，创始人和主要开发人员都曾在 Around 工作，随后通过收购一同加入了 Miro；

5. Pion 的受众和实际使用量都在增长，是发展最好的开源项目。

3、24 年实时音视频行业发展

23 年随着大模型和生成式 AI 的成熟，一些实时音视频和 AI 相结合的产品开始出来尝试，数字人等成了各个厂商提供差异化能力的突破点，但是成熟的业务模式大家都没有探索出来，对于大多数的直播间，真人的动情演绎都不足以吸引到足够多的观众，何况机器人。但我们不能全部否认数字人的价值，在一些特殊场景，它可能确实是更适合。

所以在 24 年，实时音视频领域，旧的业务模式还会持续缩水，大家都在探索与 AI 的结合，但是具体能带来哪些价值，需要我们耐心等待，落后的 paas 厂商会逐步被兼并或者倒闭。

在 webrtc 能力建设上，主要会围绕可观测性下功夫，libWebrtc 会精简调整，并进一步优化性能完善协作。

4、总结

本文简单介绍了实时音视频技术和主要架构，总结了 23 年实时音视频商业和开源两个方向发展，并基于现状预测了 24 年试试音视频领域的发展和趋势。