IDPChat：探索基于 LLaMA 和 Stable Diffusion 的「开源」中文多模态 AI 大模型

中文多模态模型 IDPChat 和大家见面了。

随着 GPT4、文心一言等的发布，预训练大模型正式开启由单模态向多模态模型演进。多模态的特性为语言模型带来更加丰富的应用场景。

我们认为，未来的 AI 应用将主要以大模型为核心基石。

而在大模型的领域，基于基础模型（Foundation model）构建领域或企业自有的大模型，会是近中期的重要发展趋势。

但在私有化大模型微调和应用方面，企业和机构仍面临着微调复杂、部署困难、成本较高等种种工程化挑战。

白海作为 AI 基础软件服务商，我们希望能够从 AI Infra 层面，提供端到端的大模型微调、部署和应用工具，降低大模型微调和应用的门槛。白海科技 IDP 平台目前提供了从大模型数据源接入到大模型微调训练、模型发布的全流程功能。

我们以 IDP 平台为工具支撑，以预训练大语言模型 LLaMA 和开源文生图预训练模型 Stable Diffusion 为基础，快速构建了多模态大模型应用 IDPChat。开发者们可根据场景需求，便捷地对其进行微调优化。

项目地址：https://github.com/BaihaiAI/IDPChat

IDPChat 能做什么

IDPChat 目前可以同时支持文字对话和图片生成。

首先是图像生成，我们可以让模型根据文字描述画一幅画。

基础的文字对话聊天示例，可支持中文。

IDPChat 快速上手

仅需简单的 5 步和单 GPU，即可快速启用 IDPChat。

操作步骤如下：

1.  修改 ./backend/app/stable_diffusion/generate_image.py 文件，设置 diffusion_path 的值为本地 stable-diffusion 模型存储路径，设置 trans_path 的值为本地中文翻译模型的存储路径

2.  修改 ./backend/app/llama/generate_text.py 文件，设置 load_model 的 base 参数值为本地 llama 模型的存储路径

3.  执行 build.sh 脚本进行编译

4.  编译成功后执行 run.sh 脚本启动服务

5.  服务启动成功后，在浏览器中打开http://127.0.0.1:8000

在应用之前，需要下载准备所需的模型，LLaMA、Stable diffusion 和相应的翻译模型。

具体所需的环境、模型、和操作步骤可以参考https://github.com/BaihaiAI/IDPChat

目前发布 IDPChat 初步版本，打通模型微调的全流程。

后续我们会继续对模型进行优化和丰富，如多模态部分增加图像描述功能。

当然要实现特定领域更高质量、针对性的表现，还需要基于领域数据的 finetune 和优化。

对 IDPChat 和 IDP 平台感兴趣的开发者小伙伴、场景应用伙伴等欢迎关注 Github 并联系我们。我们相信 IDP 平台和 IDPChat 将成为您探索多模态大模型应用和私有化大模型构建的得力助手。