设备端语音处理技术解析

系统架构

设备端自动语音识别(ASR)模型接收语音信号后，输出按概率排序的识别假设集合。这些假设以格(lattice)结构表示——图中的边代表识别词汇及其转移概率。

相比云端 ASR 需要传输音频片段，设备端仅需向云端发送识别格，由强大的神经语言模型重新排序假设。识别格需在用户结束说话后才能发送，因为后续词汇可能显著改变假设概率。

端点检测模型(end-pointer)决定用户何时结束发言。设备端运行两种端点检测器：

1. 快速推测型端点检测器（比最终检测器快 200 毫秒），可提前启动自然语言理解(NLU)等下游处理

2. 高精度最终端点检测器，在快速检测器误判时发送修正指令

上下文感知机制

设备端 ASR 需支持动态上下文感知，例如：

• 提升通讯录联系人名称的识别权重

• 加强用户自定义设备名称的识别概率

采用基于多头注意力机制的上下文偏置技术，与 ASR 子网络联合训练：

模型训练创新

1. 端到端 RNN-T 模型：直接映射语音到文本序列，显著减少内存占用

2. 师生训练法：让小模型学习大模型输出模式

3. 量化感知训练：训练时约束权重分布，实现 8 位量化存储

4. 动态稀疏化：逐步将低权重归零，减少 70%计算量

5. 分支编码器：根据输入复杂度动态选择处理网络

硬件协同设计

专研神经边缘处理器支持：

• 8 位及以下量化运算加速

• 零值计算自动跳过机制

• 矩阵压缩存储格式解码电路

技术成效

• 模型体积压缩至云端版 1%

• 用户感知延迟降低 200ms

• 带宽消耗减少 90%

该技术已应用于车载等弱网环境，未来将拓展至多语言动态切换场景。更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手