2020 智源 - 京东多模态对话挑战赛开战 产学研联合推动 AI 技术发展

人机对话系统是自然语言理解领域重要的研究方向之一,图灵测试的核心就是人机多轮交互。目前的人机对话系统局限于语音和文本的交互方式,然而近些年随着语音助手、虚拟数字人、智能服务机器人的普及应用,兼备“视听说”的多模态对话系统,已在零售、客服、金融、媒体、教育、旅游等诸多领域变得越来越重要。

为推动跨模态智能对话与人机交互技术发展,智源-京东跨媒体对话智能联合实验室在2018年首届任务导向型对话挑战赛、2019年基于知识增强的任务导向型对话挑战赛的基础上,于2020年再度推出多模态多轮任务导向型对话挑战赛。





本次大赛依托京东在电商零售领域真实场景、海量的数据积累和联合实验室的算力平台,希望连接对话系统领域顶尖人才,助力智能对话产学研联合发展,共同引领行业技术发展潮流。

无论你是自然语言理解领域的资深大咖还是未来之星,只要你有兴趣和热情解决人机对话中面临的难题,那么请加入大赛共同研究解决多模态对话问题,开启人机对话多模态的新时代。

【任务简介】

在人机交互系统中,多模态(文字+图片)交互方式使信息分发更加高效,交互方式也更为自然。多模态人机交互需要综合自然语言处理、机器视觉等多项技术才能更加细致的理解用户的意图,从而给出准确而快速的回答。本次比赛聚焦于人机交互中对于多模态输入信息的理解,目的在于研究如何在对话过程中有效融合使用多模态用户问题信息,产生任务导向型对话的文本回答,使对话系统具备多模态语义理解的能力。

大赛要求参赛系统能够根据多模态场景下对话上下文信息C={Q0, A0, Q1, A1, …, Qn-1, An-1}和本轮对话的用户问题Qn,(其中Q或A可以包含多条消息,消息类型可能是纯文字消息或纯图片消息),预测本轮用户所期望的答案,该答案应该是通顺、逻辑一致且含有丰富知识的文本回答。即此次比赛仅关注纯文本形态的应答,上下文信息或用户问题为多模态形式,预测应答为单模态形式。

【数据集】

此次挑战赛将同步发布JDDC Corpus 2.0多模态多轮任务导向型对话数据集,在符合国家信息安全管理制度的情况下,囊括了小家电和服饰两个品类的用户和京东人工客服关于商品选购推荐、商品售后使用等涵盖电商购物场景售前、售中、售后各环节的真实场景多模态对话数据。其中小家电品类,包含对话约13万session,每session平均交互轮次约为7.3轮,共包含约95万轮对话, 其中用户问题涉及约21.5万张图片;服饰品类,包含对话约11.6万session,其中每session平均交互约轮次约为7轮,共包含约81万轮对话,其中用户问题涉及约20万张图片。

此外,数据集还提供一个约3万商品的小型商品知识库作为相关商品知识的补充。为方便参赛队伍对于图片信息的利用,我们还提供了约1.7万张的图片分类标注信息。

备注:只有报名参赛的队伍才能获得数据集的在线使用权限。

【评价方法】

自动评测:参赛系统答案会和每个人工答案计算BLEU,所有BLEU的均值作为产生答案的评价指标。同时,京东会根据提交系统在后台测试集上的BLEU score进行排名。

人工评测:竞赛提交通道关闭后,自动评测排名前列的参赛系统进入人工评测进行打分,人工会对参赛系统给出的第n轮回答从流畅性,一致性,知识性,连贯性,成功率等几个维度考核系统的回答质量。最终比赛的排名由人工评测结果决定。

【赛程日期】

2020年5月25日:通过大赛官网开放报名

2020年5月30日:竞赛启动

2020年9月15日:停止模型提交和排行榜排名更新

2020年9月16日:竞赛评审(排行榜最终排名前30支队伍且无任何违规行为的队伍将进入决赛人工评审)

2020年10月31日:竞赛颁奖(第十九届中国计算语言学大会期间邀请优胜队伍分享比赛经验和模型、进行大赛颁奖)

【奖励设置】

一等奖(一名,奖金5万元)

二等奖(二名,每名奖金2万元)

三等奖(三名,每名奖金1万元)

【基线系统】

为促进广大参赛者相互学习交流,本次大赛也将同步发布基于检索方案和基于生成方案的基线比赛系统,相关代码将发布于智源-京东联合开源的项目nlp-baai,参赛选手可以通过基线系统完成比赛数据预处理和模型训练,熟悉了解多模态对话系统的构建方式。

【算力提供】

本次比赛将提供免费的GPU供比赛队伍使用,资源有限,先到先得。具体相关内容敬请关注官方网站大赛公告相关部分。

【机构简介】

北京智源人工智能研究院(Beijing Academy of Artificial Intelligence,BAAI)是落实“北京智源行动计划”的重要举措,在科技部和北京市委市政府的指导和支持下,由北京市科委和海淀区政府推动成立,是依托北京大学、清华大学、中国科学院等北京人工智能领域优势单位共建的新型研发机构,其愿景目标是按照国家新一代人工智能发展规划总体部署,支持科学家勇闯人工智能科技前沿“无人区”,推动人工智能理论、方法、工具、系统等方面取得变革性、颠覆性突破,引领人工智能学科前沿和技术创新方向,推动北京成为全球人工智能学术思想、基础理论、顶尖人才、企业创新和发展政策的源头,支撑人工智能产业发展,促进人工智能深度应用,改变人类社会生活。

京东AI研究院与智源研究院成立智源-京东跨媒体对话智能实验室,旨在面向人工智能未来发展,围绕重大应用需求,联合各大高校、科研院所、优势企业等机构进行全方位科研合作。其目标是高效整合大学、科研院所、企业的数据、平台、场景等优势资源,形成具有国际领先水平的人工智能研究团队,培育国际顶尖AI人才,推动人工智能产学研协同创新发展,产出系列国际领先水平的突破性成果。将重点组织数据共享,支持算法开源,推动场景开放,实施协同创新。

选手可前往“2020智源-京东多模态对话挑战大赛”官网进行报名。