“读懂人话”,阿里 AI 总分首次超越人类成绩
上周五,权威榜单 CLUE 公布了最新成绩
阿里 AI 以 86.685 的总分成绩创造了新纪录
这是该榜单诞生近三年以来
AI 首次超越人类成绩(86.678)
CLUE 最新榜单:阿里通义 AliceMind 总分超越人类成绩
作为业界最权威的中文自然语言理解榜单之一,CLUE 从文本分类、阅读理解、自然语言推理等 9 项任务中全面考核 AI 模型的语言理解能力。过去三年,该榜单吸引了众多国内顶尖 NLP 团队的参与,尽管榜首位置多次易主,但参评 AI 模型一直未能超越人类成绩。
根据最新的结果,此次参评的 AI 模型为阿里通义大模型系列的 AliceMind(以下简称“阿里通义 AliceMind”),在 4 项任务中的表现超过人类水平,同时实现了总榜平均分的首次超越,意味着 AI 模型的中文语言理解水平达到了新的高度。
中文语言理解是 AI 业界亟待攻克的难题之一。
“人工智能之父”阿兰·图灵提出的图灵测试,就把语言理解能力作为判别一个机器系统有无智能的标准,但如今的 AI 依旧没能掌握这一技能。因此,自然语言理解也被认为是人工智能皇冠上的明珠。
由于中文汉字比拉丁语系中的单词语义更加模糊,容易产生歧义、信息失真等问题,这给 AI 提出了更大的挑战。
为提升 AI 模型对词语、句子以及语言整体的理解力,达摩院分阶段对模型进行优化。
在预训练阶段:达摩院沿用超大规模模型训练所使用的海量高质量中文文本,同时对模型结构和训练技术进行了一系列优化:如使用激活函数 GLU、字词混合的大词表等获得更强的文本建模能力;使用 StrongHold 训练加速技术缩短迭代周期、节约算力成本,进而获得性能的显著提升。
在精调阶段:面对文本分类、阅读理解、自然语言推理等下游任务,达摩院采用了迁移学习、数据增强、特征增强等技术,进一步提升模型表现。
以 CLUE 榜单的 CHID 成语阅读理解填空任务为例,该任务需要 AI 模型选出正确的成语进行填空。阿里通义 AliceMind 可通过海量文本数据的学习达到“博闻强识”的效果,在预训练阶段掌握选词填空所依赖的语义理解能力,并将其进行成语数据的领域迁移训练,最终模型在测试任务中的成绩远超人类。
作为最早投入预训练语言模型研究的团队之一,达摩院研发了阿里通义 AliceMind,该体系涵盖预训练模型、多语言预训练模型、超大中文预训练模型等,具备阅读理解、机器翻译、对话问答、文档处理等多种能力,该模型体系已斩获 36 项冠军。
目前,相关技术已应用于医疗、电商、法律等领域,在跨境电商领域,达摩院的机器翻译系统能提供 214 种语言的互译服务,每天为国内 200 万中小商家翻译上亿文字,助力国货走向全世界。
阿里通义 AliceMind 基础模型已在 ModelScope 平台(魔搭平台)开放。
评论