写点什么

AIGC 系统中多个模型的切换调用方案探索

  • 2024-11-27
    北京
  • 本文字数:666 字

    阅读完需:约 2 分钟

作者:京东科技 贾玉龙

1 背景

1.1 现状

AIGC 系统中多个模型的切换调用通常指的是在同一个 AIGC 系统或应用中,可以根据不同的输入条件或任务需求,动态地选择并调用不同的机器学习模型进行处理。是一个 AIGC 系统能力不可或缺的环节。


目前现行方案中,一般直接请求不同的会话聊天对应不同的链接地址,又对应不同的算法模型。

1.2 现有技术及缺点

1、需要建立多个不同类型的 AIGC 聊天窗口,对应不同的链接,以对应不同的模型;


2、无法直接动态切换模型,交互流程复杂;


3、由于异步问题,聊天窗中需要的初始化数据不能及时传入。

2 方案目的

本问通过统一 AIGC 聊天窗中不同的卡片模型传值,来动态切换不同聊天内容对应的模型;在用户侧交互上可以不用新建聊天窗口。

3 完整技术方案

3.1 方案原理

如下图所示,聊天栏目“智能实验室”是外框 DOM,红色部分为子聊天窗体,子窗体中 1、2、3 等为三种聊天 source 类型的卡片,需要对应算法的 3 种模型,每个模型的对话可以直接点击切换,并且需要外框 DOM 传入相应的初始化数据。


3.2 详细描述

如下图所示:



当用户想使用对应聊天功能进行 AIGC 内容生成时,可选择聊天窗对应按钮,聊天窗将对应按钮的 source 类型传给外框 DOM,外框 DOM 根据业务场景把对应的初始化数据准备好,一起再发给子聊天窗,然后把数据传给算法模型引擎,算法模型引擎根据 source 及参数类型,切换对应的模型来进行内容处理,然后返回生产的内容给子聊天窗,子聊天窗再渲染展示给用户。

4 总结

本方案里在 AIGC 的消息传递中,不直接发送不同初始化或不同相应消息给大模型进行识别,而是让外框 DOM 做模型主调度和消息总控调度,以方便及时调用和传入参数。

发布于: 刚刚阅读数: 4
用户头像

拥抱技术,与开发者携手创造未来! 2018-11-20 加入

我们将持续为人工智能、大数据、云计算、物联网等相关领域的开发者,提供技术干货、行业技术内容、技术落地实践等文章内容。京东云开发者社区官方网站【https://developer.jdcloud.com/】,欢迎大家来玩

评论

发布
暂无评论
AIGC系统中多个模型的切换调用方案探索_京东科技开发者_InfoQ写作社区