中文多模态医学大模型智能分析 X 光片，实现影像诊断，完成医生问诊多轮对话

1.背景介绍介绍

最近，通用领域的大语言模型 (LLM)，例如 ChatGPT，在遵循指令和产生类似人类响应方面取得了显著的成功，这种成功间接促进了多模态大模型的研究和发展，如通用领域的多模态大模型MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA ，然而，此类多模态大模型却很少出现在医学领域的研究中，阻碍了相关研究发展。visual-med-alpaca虽然在医学多模态大模型方面做出了一些很有成效的工作，然而其数据为英文诊断报告，不利于促进中文领域医学多模态大模型的研究发展。为此，我们开发了XrayGLM以解决上述问题。XrayGLM在医学影像诊断和多轮交互对话上显示出了非凡的潜力。

• 借助 ChatGPT 以及公开的数据集，我们构造了一个X光影像-诊断报告对的医学多模态数据集；

• 我们将构建的中文胸部 X 光片诊断数据集在VisualGLM-6B进行微调训练，并开放了部分训练权重用于学术研究；

2.数据集

• MIMIC-CXR是一个公开可用的胸部 X 光片数据集，包括 377,110 张图像和 227,827 个相关报告。

• OpenI是一个来自印第安纳大学医院的胸部 X 光片数据集，包括 6,459 张图像和 3,955 个报告。

在上述工作中，报告信息都为非结构化的，不利于科学研究。为了生成合理的医学报告，我们对两个数据集进行了预处理，并最终得到了可以用于训练的英文报告。除此之外，为了更好的支持中文社区发展，借助 ChatGPT 的能力，我们将英文报告进行了中文翻译，并最终形成了可用于训练的数据集。

3.项目快速时间

3.1.安装环境

#安装依赖pip install -r requirements.txt#国内换源安装依赖pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt

此时默认会安装deepspeed库（支持sat库训练），此库对于模型推理并非必要，同时部分Windows环境安装此库时会遇到问题。 如果想绕过deepspeed安装，我们可以将命令改为：

#安装依赖pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements_wo_ds.txt#安装SwissArmyTransformerpip install -i https://mirrors.aliyun.com/pypi/simple/ --no-deps "SwissArmyTransformer>=0.3.6"

3.2.模型推理

3.2.1 CLI 推理

python cli_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000 --prompt_zh '详细描述这张胸部X光片的诊断结果'

更多参数

如果您是 Google Colab Pro 会员，请可以直接在 Colab 中运行 XrayGLM：https://colab.research.google.com/drive/1aR8SSaseyprsxnor-gDyMo96V9jD7iGP?usp=sharing

3.2.2 WebUI 运行

python web_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000

此时访问http://127.0.0.1:7860即可

3.3 模型训练（复现 XrayGLM）

• 硬件资源

• 实验在 A100 (4X, 80GB)上进行

• （1）准备诊疗报告(中文)和X光影像在data/Xray文件夹下；

• （2）开始训练：

#设置CUDA变量，主要是为了解决有时候直接训练而出现无法正确加载到显卡问题export CUDA_VISIBLE_DEVICES=0,1,2,3
#开始训练bash finetune_XrayGLM.sh

这里的复现过程非常简单，主要是很多过程我们都为大家准备好了，大家可以随时复现一个自己的XrayGLM。

3.4.模型训练（通用）

• 【官方视频教程】XrayGLM微调实践
  

• 复旦大学《大语言模型理论与实践》
  

4. 效果展示

• 以下效果来自于低质量的数据训练和权重

4.1 影像诊断：

4.2 多轮对话：

>> X光影像路径：./data/Xray/861_1.png
>> 用户：这是一张什么图？>> XrayGLM：这张图片显示的是一张肺部检查的X光片。
>> 用户：请描述这张胸部X光片的诊断结果>> XrayGLM：心脏大小正常，肺部清晰。没有急性心肺疾病的证据。
>> 用户：是否存在肺气肿？>> XrayGLM：没有肺气肿。心脏大小正常，肺部清晰。没有发现急性心肺疾病的证据。
>> 用户：平时饮食该注意什么？>> XrayGLM：饮食应该健康，均衡。建议增加蛋白质的摄入量，因为蛋白质有助于维持肌肉和骨骼的健康。多食用蔬菜、水果、全谷物以及健康的脂肪来源如橄榄油、鱼类等可以帮助获得足够的维生素和矿物质。此外，避免过度饮酒或吸烟，这些习惯可能会对心脏健康产生负面影响。

5.总结

1. 模型的能力更多来源于数据的支持，OpenI-zh作为微调数据集，其数据量足以支持研究，在更广泛的任务和性能表现上，我们认为在大规模数据集上预训练并在高质量少量数据集上微调是一种可行的方案；

2. 普遍意义的理解上，视觉多模态模型=视觉模型+语言模型。除了需要关注视觉模型信息与语言模型输出的搭配外，还需要额外关注到语言模型的加强，在人机的对话中，尤其是医疗语言模型的问答上，除了专业的医疗问题回答，带有人文情怀的有温度的回答更应该是我们追寻的目标。

3. 高精度的模型永远打不过大参数的模型，如果在 6B 模型和 13B 模型上选择微调，请在资源充足情况下选择 13B 的大参数模型；

项目致谢

1. VisualGLM-6B为我们提供了基础的代码参考和实现；

2. MiniGPT-4为我们这个项目提供了研发思路；

3. ChatGPT 生成了高质量的中文版 X 光检查报告以支持 XrayGLM 训练；

4. gpt_academic为文档翻译提供了多线程加速；

5. MedCLIP 、BLIP2 、XrayGPT 等工作也有重大的

项目码源见文末

项目链接跳转

更多优质内容请关注公号：汀丶人工智能；会提供一些相关的资源和优质文章，免费获取阅读。