AIGC 系统中多个模型的切换调用方案探索
作者:京东科技 贾玉龙
1 背景
1.1 现状
AIGC 系统中多个模型的切换调用通常指的是在同一个 AIGC 系统或应用中,可以根据不同的输入条件或任务需求,动态地选择并调用不同的机器学习模型进行处理。是一个 AIGC 系统能力不可或缺的环节。
目前现行方案中,一般直接请求不同的会话聊天对应不同的链接地址,又对应不同的算法模型。
1.2 现有技术及缺点
1、需要建立多个不同类型的 AIGC 聊天窗口,对应不同的链接,以对应不同的模型;
2、无法直接动态切换模型,交互流程复杂;
3、由于异步问题,聊天窗中需要的初始化数据不能及时传入。
2 方案目的
本问通过统一 AIGC 聊天窗中不同的卡片模型传值,来动态切换不同聊天内容对应的模型;在用户侧交互上可以不用新建聊天窗口。
3 完整技术方案
3.1 方案原理
如下图所示,聊天栏目“智能实验室”是外框 DOM,红色部分为子聊天窗体,子窗体中 1、2、3 等为三种聊天 source 类型的卡片,需要对应算法的 3 种模型,每个模型的对话可以直接点击切换,并且需要外框 DOM 传入相应的初始化数据。
3.2 详细描述
如下图所示:
当用户想使用对应聊天功能进行 AIGC 内容生成时,可选择聊天窗对应按钮,聊天窗将对应按钮的 source 类型传给外框 DOM,外框 DOM 根据业务场景把对应的初始化数据准备好,一起再发给子聊天窗,然后把数据传给算法模型引擎,算法模型引擎根据 source 及参数类型,切换对应的模型来进行内容处理,然后返回生产的内容给子聊天窗,子聊天窗再渲染展示给用户。
4 总结
本方案里在 AIGC 的消息传递中,不直接发送不同初始化或不同相应消息给大模型进行识别,而是让外框 DOM 做模型主调度和消息总控调度,以方便及时调用和传入参数。
版权声明: 本文为 InfoQ 作者【京东科技开发者】的原创文章。
原文链接:【http://xie.infoq.cn/article/9356fae30c95b8a5ee99ff070】。文章转载请联系作者。
评论