多模态 GPT-V 出世!36 种场景分析 ChatGPT Vision 能力,LMM 将全面替代语言大模型?
LMM 将会全面替代语言大模型?AI 新里程碑 GPT4V 美国预先公测,医疗领域/OCR 实践+166 页 GPTV 试用报告首发解读
![](https://static001.geekbang.org/infoq/da/da8e4046622149f098b834819b072665.png)
ChatGPT Vision,亦被广泛称为 GPT-V 或 GPT-4V,代表了人工智能技术的新里程碑。作为 LMM (Large Multimodal Model) 的代表,它不仅继承了 LLM (Large Language Model) 的文本处理能力,还加入了图像处理的功能,实现了文本与图像的多模态交互。与传统的 LLM 相比,GPT-V 更加强大和灵活,能够更深入地理解和生成与图像相关的内容。这种进化打开了无数新的应用可能性,从图像描述、创意设计到复杂的图文结合任务,GPT-4V 都展现出了卓越的性能和广泛的潜力。
使用方法:GPT-V 目前对于美国区 ChatGPT Plus 账户开放。11/6 日 gpt-4-vision-preview 提供 API 开放。
相关链接:ChatGPT can now see, hear, and speak
相关介绍:GPTV_System_Card.pdf
166 页 GPT-V 试用报告:Dawn of LMMs: Preliminary Explorations with GPT-4V(ision)
性能:对于 ChatGPT4,速度比纯文本中文 Prompt 慢 40%左右。(注意,当从 GPT4 切换到 GPT-V 后,纯文本中文 Prompt 速度提升了大概 200%)
花费:$20 美元一月,限速 3 小时 25 条。11/06 日 gpt-4-vision-preview 提供 API 开放。定价视图片尺寸而定,1080x1080 图像输入定价 0.00765 美元。
调研版本:10-12 ChatGPT Vision(图片聊天/GPT 多模态功能) ChatGPT September 25 Version
本文图片部分为实践(OCR/医学等),部分来自网络(推特/Arxiv 试用报告),题图由 ChatGPT DALL-E 3 生成。
本文尝试从以下案例,对 AI 新里程碑 LMM 进行探索:
![](https://static001.geekbang.org/infoq/8e/8ed1d8a0dded5987030dce395249c6e3.png)
TLDR 总结:
1.ChatGPT Vision 更偏向于有创造性的图片理解,而非机器性细节识别。
2.ChatGPT Vision 试图以大模型的涌现能力,从高层次理解整个图片,将图片如同文字一般对待,而非是 OCR 式的匹配识别。ChatGPT Vision 和 OCR 的区别,与语义搜索和关键词搜索的区别类似。
3.ChatGPT Vision 具有较大幻觉问题,Few-shot/CoT 等 Prompting 方法也无法改善这一点(涌现能力不足),说明 ChatGPT Vision 仍处于像当年 ChatGPT v3 一样的初期阶段。预计未来几年随着参数规模的进一步提升,多模态大模型可能会复现文本大模型的发展路径。
![](https://static001.geekbang.org/infoq/f8/f8ba651c7987c468c1e47ee35a2ddad0.png)
(图 1:Few-shot 方法不能提高 GPT-4V 获取仪表板信息的准确性,红色代表回答错误)
![](https://static001.geekbang.org/infoq/6b/6b16b68e0646a5afe919124d2e65be47.png)
(图 2:CoT 方法不能稳定质变提高 GPT-4V 数苹果的准确性,红色代表回答错误,绿色代表正确)
适用场景:
1.上下文概念性工作,如文章头图的自动审核初筛、皮肤病的照片辅助筛选,DR/CT 照片影像学诊断,提供 HTML alt text 等。
2.图片创意性工作,如 1.3 节 商品销售文案生成、商品使用建议生成、商品创意名称生成等。
不适用场景:
1.有精确性要求的文字工作:如 1.1 节 患者诊疗单等 OCR 场景。
2.主体过多的复杂图片,如 1.3 节 前端网页代码复刻。
有潜力的场景:
1.清晰图片/截图的总结性工作,包括 1.3 节 图片的复杂理性/感性分析,如网络热图解释、教育场景
2.高纬度大模型推理,如 1.3 节 辨别电影/景点、客服、气候分析、设计图/网站设计建议等
1.0 基础功能
多图片上下文识别能力
![](https://static001.geekbang.org/infoq/e9/e91cd5ee20bec9695fecdb8c52fed5c4.png)
(图 3:研究者输入了多张购物账单小票/菜单图片,GPT-4V 做出了正确回答)
理解图中标识(如箭头)和强调(如红圈标红)
![](https://static001.geekbang.org/infoq/3a/3a99b2cf7c9598e2b4b0b1056ff370a3.png)
(图 4:对于使用箭头/画圈标识的图片,GPT-4V 能做出了正确理解和回答)
1.1 OCR 功能(幻觉严重,中文效果差)
中文:电脑截图(准确)
![](https://static001.geekbang.org/infoq/93/9310ba84920d7f6110f24fb12b977d97.png)
中文:清晰中文表格图片(幻觉严重)
![](https://static001.geekbang.org/infoq/0b/0b6fd85e3c7b3a1743c0c0044e13d56b.png)
中文:有复杂信息的真实患者诊疗单(幻觉严重)
患者诊疗单(给 GPT 的是原图,以下图片经过二次处理模糊了患者信息)
![](https://static001.geekbang.org/infoq/e2/e2bdb314487db9ad9747e8c4fe1d09d3.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
![](https://static001.geekbang.org/infoq/e4/e40cfe64a113b544d8a4c0fffa688a4a.png)
英文:准确:强对比度、轻微镜头畸变、中等像素噪声图片
![](https://static001.geekbang.org/infoq/61/611dd89ad0c231eb8e92c952b8421d10.png)
阿拉伯语:部分准确:手写体转译英文
muin on X: "GPT-4V will be able to transcribe and translate manuscripts and texts. I am excited to try out Arabic manuscripts to see how well it does. It does a phenomenal job with transcription even better than most humans. https://t.co/K6y6WffLvz" / X
1.2 医学诊断(高准确率)
肺部 X 光:肺炎****判断 (准确)
图像来源:GitHub - linhandev/dataset: 医学影像数据集列表 『An Index for Medical Imaging Datasets』https://github.com/linhandev/dataset https://www.kaggle.com/datasets/nih-chest-xrays/data#:~:text=Class descriptions,Hernia
图片输入
![](https://static001.geekbang.org/infoq/45/45cc931149e1a518f98b649801458428.png)
GPT-V 判别结果:(肺炎, 0.7)
1.肺炎:
◦置信度: 0.7
◦原因: X 光片上下肺区的密度增加可能提示肺炎的存在,但根据图片无法明确确定。
2.肺水肿:
◦置信度: 0.6
◦原因: 下肺区的密度增加可能与液体积聚有关,如心力衰竭导致的肺水肿。
3.间质性肺病:
◦置信度: 0.5
◦原因: 有一些间质改变的迹象,但需要与先前的影像进行比较。
4.支气管炎:
◦置信度: 0.4
◦原因: 慢性支气管炎可能导致一些观察到的不透明度。
5.结核病:
◦置信度: 0.3
◦原因: 尽管结核病可表现为不透明和可能的固实化,但该图像并不强烈地表现出结核病的典型特征。
6.肺癌:
◦置信度: 0.2
◦原因: 虽然没有明确的结节或肿块,但由于 X 光在显示其他结构后面的小结节时的局限性,肺癌不能完全排除。
皮肤病:黑色素瘤判断(部分准确)
数据源:ISIC Archive
https://gallery.isic-archive.com/#!/topWithHeader/onlyHeaderTop/gallery?filter=%5B%5D
图片输入
![](https://static001.geekbang.org/infoq/fe/fee6dfc9f04288e3a4995767c7834945.png)
GPT-V 判别结果(常见痣 0.6,黑色素瘤 0.3)
1.黑色素细胞痣 (常见痣)
◦信心分数: 0.6
▪原因: 该皮损表现出与常见痣相似的特征,中央有深色区域。50 岁左右的人群中很常见。
2.老年性角化病
◦信心分数: 0.4
▪原因: 老年性角化病是老年人中常见的非癌性皮肤生长,颜色可能会有所不同。
3.异型痣
◦信心分数: 0.5
▪原因: 这类痣与常见痣有所不同,通常较大。鉴于大小 (1.4mm) 和位置 (下肢),需要考虑此诊断。
4.黑色素瘤
◦信心分数: 0.3
▪原因: 黑色素瘤是一种皮肤癌,虽然所提供的图像有可能与黑色素瘤一致的特征,但需要皮肤科医生进行全面评估才能确诊。
5.基底细胞癌
◦信心分数: 0.2
▪原因: 它是最常见的皮肤癌形式,但所提供的图像没有基底细胞癌的典型迹象。但鉴于患者的年龄,仍需考虑。
6.血管瘤
◦信心分数: 0.2
▪原因: 血管瘤是由血管组成的良性肿瘤。图像中的红色可能暗示这一点,但从整体外观看,可能性较小。
老年疣(0.7)
数据源:ISIC Archive
图片输入
![](https://static001.geekbang.org/infoq/9a/9a39d0c04c86c696561d063730096817.png)
GPT-V 判别结果 ( 老年疣 0.7 )
1.老年疣 - 置信度:0.7
2.黑色素痣 - 置信度:0.5
3.基底细胞癌 - 置信度:0.4
4.日光角化症 - 置信度:0.4
5.鳞状细胞癌 - 置信度:0.3
该图像显示了皮肤的放大视图,老年疣在头部和颈部区域较为常见,且经常出现在中老年人群中,因此我给予了较高的置信度。
其他脑部/胸部 X 光诊断(高准确率)
(绿色代表正确,红色代表错误,黄色代表幻觉)
![](https://static001.geekbang.org/infoq/71/71910e77557802e8c7033bb7a7bf7e7c.png)
![](https://static001.geekbang.org/infoq/ae/aea1a2a832ca7b933869c60a49cbd885.png)
![](https://static001.geekbang.org/infoq/4c/4cee14549fc404c2f3de8a1d5c869b1a.png)
1.3 高纬度识别能力(高质量,虽有幻觉问题)
大众点评/小红书文案
![](https://static001.geekbang.org/infoq/50/505d5fcddb37ea6ff54d9cc50522d80e.png)
商品使用建议(左),商品销售文案(右)
![](https://static001.geekbang.org/infoq/1b/1b78883ac074d0347a4f28569881a180.png)
车祸车辆识别
红色代表错误
![](https://static001.geekbang.org/infoq/34/34e2fe060e9754317fc35228611c5191.png)
理解流程图
![](https://static001.geekbang.org/infoq/7b/7bce056410abb83b4b05cfdd3337e963.png)
解释笑话
![](https://static001.geekbang.org/infoq/54/547a175d5853f4e47769452ff7c262fd.png)
商品新颖命名
![](https://static001.geekbang.org/infoq/c7/c75f2994da24d033afe0bd1681e18473.png)
电路图描述
![](https://static001.geekbang.org/infoq/87/87ba4701aed16a0eba7d799233b08fdc.png)
地标描述
![](https://static001.geekbang.org/infoq/c1/c154de35cfecb2eab248ccc56d0a2598.png)
菜谱生成
![](https://static001.geekbang.org/infoq/5c/5c63bc792d85ea8b635d9a6b9dc554a4.png)
分析球类运动局势/运动员姿势(存在幻觉)
Abran Maldonado on X: "One of my favorite demos I tested out, in honor of football season, ChatGPT Vision will forever change coaching and sports analytics. Whether i build it or not, ChatGPT for coaching will be on every sideline in the league. Mark my words. https://t.co/uUYhsKpEGh" / X
幻觉(该运动员使用的是反手 Backhand,而非正手 forehand):
![](https://static001.geekbang.org/infoq/b0/b08c9c942f956bcea7e8a2bea21389a7.png)
识别电影/相机/景点等
![](https://static001.geekbang.org/infoq/1f/1fa75eae75a1c0df6467aa7f47adf222.png)
![](https://static001.geekbang.org/infoq/fc/fcb969c298256149eb6ec1c134bc9ecf.png)
![](https://static001.geekbang.org/infoq/9a/9a35807e5fb67f965b8b6a5352f17d36.png)
给予用户产品安装/摄像等的建议和帮助
X: "ChatGPT can now see, hear, and speak. Rolling out over next two weeks, Plus users will be able to have voice conversations with ChatGPT (iOS & Android) and to include images in conversations (all platforms). https://t.co/uNZjgbR5Bm https://t.co/paG0hMshXb" / X
![](https://static001.geekbang.org/infoq/3a/3a7d62b1a34097586e413beed47e6be0.png)
辅导扑克(存在幻觉)
![](https://static001.geekbang.org/infoq/59/5969207fd5ccd6f622ae3a19d8c0d2eb.png)
网页截图到 HTML 代码(理解不足)
![](https://static001.geekbang.org/infoq/0a/0aa82e3f28fabb5c95c24528eaf27389.png)
结果:
![](https://static001.geekbang.org/infoq/36/36b192d357493533dea778f0a9217d25.png)
白板骨架到前端项目
Mckay Wrigley on X: "You can give ChatGPT a picture of your team’s whiteboarding session and have it write the code for you. This is absolutely insane. https://t.co/bGWT5bU8MK" / X
https://twitter.com/mckaywrigley/status/1707101465922453701
清晰图片的复杂理性/感性分析
Pietro Schirano on X: "This is absolutely wild. I am completely speechless. https://t.co/wGTAx1hFgS" / X
https://twitter.com/skirano/status/1706874309124194707?
![](https://static001.geekbang.org/infoq/ed/ed772c0a28cd6d7b17e16e19763ac1fd.png)
Mckay Wrigley on X: "ChatGPT breaks down this diagram of a human cell for a 9th grader. This is the future of education. https://t.co/L0Za0ZB5rs" / X
主体多的复杂图片的复杂理性分析
Alex Northstar on X: "Thanks ChatGPT, that can read & understand better than humans! https://t.co/TgVSuHgf8j" / X
https://twitter.com/NorthstarBrain/status/1707668600281063514
1.4 不足与风险
图片(含人眼不可见文字)的注入风险
![](https://static001.geekbang.org/infoq/b3/b35c4b642ea45ddea5d0f2ba55d96dea.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
(图中,用户以不可见的浅色字添加了 Sephora 化妆品促销水印,人眼无法察觉,但 GPT-V 可感知)
![](https://static001.geekbang.org/infoq/e3/e3953487a3be8a148eb9df672ee92536.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
(图中,用户以不可见的浅色字使 GPT-4V 一定对这份简历会给出雇佣建议)
不能使用于人脸识别
当 GPT-4 在 2023 年 3 月首次发布时,GPT-4V 面部识别功能可能存在安全和隐私问题,因此 GPT-4V(具备视觉功能的 GPT-4)被暂缓发布。
在早期的模型中,用户本可以理论上上传人物照片,并要求识别他们,这显然是对隐私的侵犯。根据技术论文,GPT-4V(为 ChatGPT Vision 提供支持)现在拒绝此类请求的时间达到了 98%。
![](https://static001.geekbang.org/infoq/41/41f7922b6ee206a7516e8cd25b5b1c7d.png)
版权声明: 本文为 InfoQ 作者【京东科技开发者】的原创文章。
原文链接:【http://xie.infoq.cn/article/b3150409d41b571ae34349842】。文章转载请联系作者。
评论