九章元识大模型加速 AI 产业创新发展

多模态是人工智能大模型的下一个重要技术环节。在九章云极 DataCanvas 新产品发布会上，九章云极 DataCanvas 公司首席 AI 科学家缪旭着重介绍了九章元识大模型在多模态方向的技术路线。

九章云极 DataCanvas 公司首席 AI 科学家 缪旭

演讲实录

大家好！我叫缪旭，很高兴在线上跟大家交流。我在美国也可以感受到国内对人工智能的热情以及对人工智能未来的期望。刚才方博和于博精彩的发言为我们展开了人工智能新的篇章，我也感到非常兴奋，非常荣幸可以在这里介绍一下九章云极在多模态大模型上的工作和努力。

多模态是人工智能大模型一个重要的技术环节，各行各业都会面对不同的问题，而解决这些问题都是需要从不同的数据形态得到答案。比如金融领域要了解企业的财报，了解财报还是不够的，如果不看市场的新闻，不关注各个宏观经济、微观经济的指标，我们的 AI 是不能够完整判断这家企业的健康程度，做出合理的风险评估。如果不能将多个视频流、多个生产线上的传感器数据结合起来，整合起来，一起来看的话，你是不能对现场环节出现的安全隐患，质量问题有一个完整的解决方案。

以健康行业为例，如果 AI 在阅读病人病理的同时不能对照病人的检测图像，也不能参考非常大的医学知识库，我们的 AI 也不能合理地诊断，给医生足够的指导推荐。所有这些需要元识大模型具有处理多模态的能力。处理过程中有两个重要的环节，一个环节叫做耦合，另外一个环节叫做对齐。融合的意思是将不同的数据流整合到一个数据流里面，比如可以是视频，可以是图像，可以是文字。把不同语言放到一个房间里面，让它们可以进行交流，这样还是不够的，毕竟还是属于不同的领域，有点像鸡同鸭讲，对齐的意思是将不同语言翻译成同一个语言，说同一个语言，多模态可以进行互动交流，而经过充分交流和互通的信息最后可以输出完整的大模型来进行内容的生成。可以生成对话，也可以生成新的图像，可以是前端的，也可以是后端的，甚至组成一个新的应用。

如何生成新的架构是现在比较流行的多模态处理方式，元识大模型也是采用这样的架构进行处理。这个架构还是不够的，想达到通用效果的话，还需要更进一步的细化。主要的原因是不同的应用，不同的场景，对不同的信息流的融合和对齐的过程是非常复杂的。为了解决这个复杂度，我们在提示模板里面推出一整套的指令集，帮助定义不同情况下如何对齐的方式。比如说我们可以根据空间来定义它的融合，可以根据时间项来定义它的融合，甚至对于各种各样的逻辑来定义不同场景下的融合和对齐。这一套灵活的指令集帮助元识大模型可以运用到不同的场景中，大大提升它的通用性。

九章云极的客户基本都是行业里面的专家，各行各业实际上都拥有非常广大的行业数据，你可能会有成千上亿级别的知识图谱，上百个大数据网格，大数据表格还不是大数据的智能，这样是非常常见的事情。如果没有融合，对齐的灵活指令集，很难想象能够将这些比较复杂的结构化数据和非结构化数据整合到一起。有了这样的架构，有了这样的指令集，元识的大模型可以对结构化数据和非结构化数据等多模态数据进行非常好的支持。当然，最后我们可以通过微调，将朴实通用的对多模态的指示推广到行业上，从而在行业内获得比较好的收效。

如果客户想进一步下沉，有很大的私有数据，想通过私有数据来构造自己的大模型，我们可以给予同样的支持。众所周知，微调有点像黑暗料理，为了解决新的任务，如果处理不当，很可能会让它拥有新知识的同时反而忘记了很多以前的知识、以前的能力，这个问题也是挡在专业领域大模型落地面前的一个非常重要的门槛。为了解决这个门槛，我们提出全新的微调方案，叫做可组合式的微调，核心理念在微调过程中 touch 一部分参数，尽量避免对以前的记忆有比较大的伤害，对以前记忆的伤害干扰比较小，我们可以将复杂问题分解成很多小的问题，各个击破，最后再将微调的模型参数合到一起来形成一个定制化的大模型。我们希望通过这种新的组合式微调方案来给大家提供一个轻松自如的定制话题，当然最后我们九章云极努力做的很多工作也是为了各行各业的客户专家将来可以更好地精益求精，为业务做出更大的贡献。