神经网络编码提升音频丢包恢复效率

数据包丢失的挑战

实时语音通信中，数据包丢失会导致语音质量严重下降。传统丢包隐藏(PLC)算法仅能处理短暂丢包，而现有冗余方案要么冗余范围有限（如前向纠错），要么带宽效率低下。

深度冗余(DRED)技术

核心创新

• 神经声码器应用：利用 LPCNet 神经声码器从压缩的声学特征中重构语音

• 高效特征编码：采用率失真优化变分自编码器(RDO-VAE)将声学特征压缩至 500bps

• 时间冗余架构：每个 20ms 数据包可携带多达 50 个历史数据包（1 秒语音）的冗余信息

技术实现

1. 编码流程：

2. 每 20ms 生成覆盖 40ms 语音的特征向量

3. 采用交错编码策略（奇/偶帧交替）

4. 利用帧间相关性进行差分编码

5. 解码流程：

6. 逆向解码机制优先恢复最近丢失的语音

7. 支持从任意有效数据包开始重建

性能对比

实际效果

在 Interspeech 2022 测试集中：

• 纯 DRED 方案将丢包影响降低 50%

• 结合 LBRR 后 MOS 评分仅下降 0.1

• 成功恢复长达 140ms 的连续丢包

标准化进展

相关技术已提交 IETF 作为 Opus 编解码器扩展提案，开源实现可通过开发分支获取。该方案完全后向兼容，无需修改现有协议栈。

更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手