无声的 AI：昇腾 AI 如何用大模型破解手语学习的难题？

2022 年 7 月 13 日
本文字数：2572 字
阅读完需：约 8 分钟

你是否遇到过这种较为特殊的外卖或快递，仅能通过短信而无法使用电话提醒送达。此时如果短信被忽略，语言交流的难题就出现了。

“为什么不接电话？”“为什么未经我的允许就把快递放到驿站？”这些对于听人来说可以轻松解释沟通的问题，聋人工作者却因无法听到客户电话传递的需求，而令双方产生误解。

当遇到急需辩白或者法律诉讼这种强调沟通严谨性的场合，聋人则更为弱势。在这些场合聋人如果使用书面表达，不仅效率降低，翻译得不准确反而会带来更多波折。有诉讼需求的聋人能否使用手语表达意愿且被准确理解，将直接关系到他们自身权益的维护结果。

据第二次残疾人抽样调查，目前我国听力障碍人数接近 3000 万，是国内最大的残障群体。其中，听力障碍儿童总数达 460 多万人，7 岁以下听障儿达 80 万人，每年新增加听障新生儿 2-3 万余名。对于如此庞大的人群，手语是他们打开与世界交流的“窗户”，但手语的学习之路似乎并不那么简单顺畅。

千万听力障碍者的沟通障碍

在新闻联播中，我们都见过这个场景，电视画面左下角的手语主持人，她们上下翻飞的熟练手势快起来和舞蹈一样美丽。但据北师大 2012 年针对接近一万名聋人开展的跨地区调查显示，只有 8%的聋人能看懂很多电视台的手语新闻，56%的聋人能看懂一些，29%的聋人基本看不懂。

央视主播的普通话，让南北操持各种方言的人群都能听得懂，央视的手语主播手势竟然有一小半的聋人看不懂？这个问题是手语学习与教育中长存的挑战。

1.手语标准不统一。手语有国标手语与自然手语的区别，与汉语的普通话和方言类似，并且国标手语并不像普通话那样在全国风行，仅出现在新闻、大会翻译以及学校教学中，大多数聋人群体使用的都是自然手语。而国标手语与自然手语、不同地域之间的自然手语差异也很大，导致聋人与聋人、聋人与听人之间的沟通并不顺畅。

2.师资力量相对缺乏。特殊学校的手语老师多半是来自特殊教育专业背景的听人，对于不断增长的聋人群体来说，师资力量总体较为紧张。再加上特殊教育学校的老师打的是国标手语，并不是学生们自小习惯的自然手语，因此手语教学的效率受到一定影响。

3.手语词汇匮乏。目前，手语词汇共约有 8000 个，能满足日常学习、交流，但却较难涵盖所有场景。例如一些专业词汇“人工智能”或新兴词汇“元宇宙”等，很难使用手语进行充分表达，仅能使用近义词的形式逐字组合成词进行传递，对聋人来说无法轻松理解组合词的表意，此外，手语教学中尚无通用手语语法标准，这也对学习、使用手语造成困难。

这些手语沟通中的阻碍与高昂的学习成本，让聋人与外界的交流仿佛隔了一层巨大的透明外壳，外面的人不容易进去，里面的人也很难走出。

如何让聋人能够高效学习手语、实现顺畅沟通、缩短信息交流的“时差”，成为许多科技公司努力的方向。越来越多的企业也开始借助 AI 技术的力量将数字包容的“种子”撒向这片广袤的土地。

手语学习的智能“灵魂”——昇腾昇思 MindSpore AI 框架

千博信息基于华为昇腾 AI 和昇思 MindSpore AI 框架，利用中科院自动化所的紫东.太初三模态大模型，打造了手语教考一体机，专门用来帮助有听力障碍的学生随学、随练、随考，助力提升聋人群体的沟通质量。

那么昇腾 AI 和昇思 MindSpore AI 框架是如何成为手语教考一体机注入的智能“灵魂”呢？

1. 高性能小模型的部署，是支撑教考一体机的核心能力。手语大模型通过知识蒸馏形成可用的高性能小模型，部署在搭载昇腾 AI 芯片的手语教考一体机上，为其提供核心支撑。

2. 以文生图与表情及唇语的识别能力，让理解与翻译更加精准。基于昇腾 AI 基础软硬件平台支撑的手语大模型中的表情驱动及唇语计算，手语虚拟人能够结合表情、唇语来表达手语，使其翻译更加生动精准，实现图文联想。

3.小样本学习，提升手语翻译可懂度。在有限的语料环境下，手语大模型中的小样本学习能提升手语翻译的可懂度，让手语虚拟人的翻译习惯更加贴近聋人的认知，目前已初步实现实时的手语词汇识别能力。

对于听障学生来说，他们可以借助设备学习动画版本的手势动作、表情、唇语，甚至是更为抽象概念；对于教学机构来说，手语教考一体机能够实现学习、考核、出题、综合评价等自动化教学过程，减轻老师们的基础教学压力，释放更多的人文关怀与创新教育能力。

手语教考一体机可以为聋人以及手语翻译人群提供国标手语的学习、训练、考核能力。不仅让聋人群体之间顺畅交流，更好地享受社会生活与公共服务，同时还能帮助聋人与不懂手语的听人进行沟通，让所有人享受数智生活的便捷。

数字包容“种子”的无限未来

我们都听说过这句话：检验现代社会的文明程度，从来不是看城市多么繁华，文化多么丰富，而是看这个社会是否关注、照顾少数弱势群体。随着人工智能的发展，技术的“果实”正在普惠整个社会，在数字包容的公益倡导下，追求人文关怀与实现社会价值，成为越来越多有担当企业的选择。

基于昇腾 AI 和昇思 MindSpore AI 框架的大模型成果，通过大模型的强泛化能力，赋能产业生态中的众多企业，助力应用在行业场景中落地开花。

千博信息推出的手语教考一体机就是产业大模型落地的典型应用之一。除了对特殊群体的关照外，AI 除了在公益领域能够帮助到障碍人士，在短临天气预测上也能有所作为。短临天气预测与日常生活紧密相连，随着全球变暖、各类气象灾害频发，及时准确的预测能有效指导防灾减灾工作。华为与高原所、电子科大的合作打造的短临天气预测模型，能够提升短临天气预测的准确性以减少生命健康和财产损失，这将带来巨大经济、社会和生态价值。

在学术界，大模型创新层出不穷，但真正走到规模化产业部署的寥寥无几，科研创新和产业应用存在断点。

华为打通产学研用，联合科研院所、企业共同建立围绕大模型的产业联盟平台，促进产业内各类企业基于大模型孵化行业应用，让大模型真正赋能产业，实现产业聚集，创造更大的价值。