无监督训练在 NLP 中的价值体现

在大多数自然语言处理应用中，词元化是首要步骤——将输入字符串分解为语义相关单元。传统方法依赖人工编纂的词典和标注数据（LST），而新兴的无监督方法（LIT）通过分析海量无标注数据自动学习词元划分规则。

研究团队针对八种语言（英语、德语、西班牙语、波斯语、意大利语、日语、土耳其语和泰语）展开实验，采用两种 LIT 方法：基于字节对编码(BPE)和基于一元语言模型(LM)。通过 GloVe 方法生成子词嵌入后，采用三种加权方式构建词向量，最终以人类标注的词语相似度为基准进行评估。

关键发现：

1. 百万级大词汇量时 LST 占优，但德语、波斯语和土耳其语例外

2. 词汇量小于 10 万时，LIT 全面超越 LST

3. 黏着语种（如土耳其语）中，BPE 在 5 万词汇量即达最佳效果

该成果表明，对于资源稀缺语言或词汇受限场景（如实时翻译系统），无监督词元化是可行替代方案。研究还揭示了子词嵌入质量与下游语义任务表现的强相关性，为轻量化 NLP 系统设计提供了新思路。

更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手