ChatGPT“与图对话”初体验

ChatGPT“与图对话”初体验

ChatGPT发布语音和图像能力重大更新：要点解读、应用畅想与原文翻译

中提到：ChatGPT 开放了“与图对话”的多模态能力，用户可以上传一张图片或多张图片，与 ChatGPT 展开基于图片的对话。想不到这么快就开放了：

ChatGPT 对图片的理解能达到什么水平呢？让我们一起来测试。

单图理解：非常精确

我上传了一张我和女儿在一个室内动物园戴着动物面具的合影，让 ChatGPT 理解这张图片：

ChatGPT 的描述是下面这样的：

它详细描述了：

• 森林背景墙

• 我的穿着打扮

• 女儿的穿着打扮

• 父女俩的动作

• 整个画面的氛围

这理解不能说是特别准确，那简直是十分精确！那个传神的表情“✌️”真的赞！

然后可以让 ChatGPT 以此图片为蓝本，讲一个你想要的故事：

ChatGPT 能否生成图像呢？

遗憾的是，无论是生成图片还是修改上传的图片，ChatGPT 暂时还做不到。

ChatGPT 能注意到更多的细节（那个插座）吗？

看来它是注意到了那个墙上的插座，而且知道它存在安全隐患，很赞！

它能注意到右上角那不太容易分辨的蜘蛛网吗？

看来是没有注意到。我提示一下，会如何？

经过提示，它注意到了蜘蛛网，不过它并不百分之百确认。看来这个部分的识别精确度比较低。

还能进一步理解吗？

嗯，能理解人物关系。

对背景森林的类型也能做比较准确的推断。

这就有点强人所难了！

总的来说，ChatGPT 对单张图片的理解是相当准确的，无论是场景描述、人物关系，还是整体氛围、局部细节。

艺术风格识别：一半一半

对感兴趣的绘画作品，可以让 ChatGPT 做解释：

这是它对其艺术风格和内容的描述：

这的确是马赛克风格的绘画。它也知道不同画家的风格流派：

试试中国风：

不错，就是工笔画。

也有不尽人意的地方，比如将下面的“大和绘”风格的作品识别成“浮世绘”

对于“达达主义”风格并没有直接叫出其名字：

我还尝试过现实主义、立体主义、世俗画、哥特主义、奥托尼亚等不同风格的绘画作品，ChatGPT 的水平基本上在半对半错之间。对于风格强烈的画风（比如立体主义、现实主义等）识别率高；对于风格不那么强烈或者比较细分的流派（比如风俗画，被误认为是洛可可），识别率低。

因此在艺术鉴赏方面，ChatGPT 还需要进一步提高。

从图片到代码：差强人意

网传在 Twitter 上有人给 ChatGPT 喂一张数据看板的截图，它直接生成了对应的代码。我也在这方面试了试，看看 ChatGPT 能在这方面做到什么程度。

对于想要给一个长截图就生成整个页面代码的想法，我劝大家还是现实一点。这是我提供给 ChatGPT 的一个网页长截图：

然后让它“这是一个产品的 landing page，请你生成一个 html 文件，来复刻这个网页”，当然它很乖地给出了 html 代码：

我满怀希望地打开，结果效果是这样的😱：

不能说是一模一样，简直是毫无相似之处。估计要通过非常多轮的对话，才能有一个稍微可用的版本。

然后我对任务做了简化，只让它复刻其中的一部分：

这下得到的版本就好多了，加上图标就基本可用了：

对于更加复杂一点的数据看板：

多轮对话之后，可以得到下面的版本：

嗯，还算 OK，调调能用。

多图理解：还挺不错的

ChatGPT 支持传多张图片（最多是四张）

那多图的理解能力如何呢？

我先传了一张女儿画的简笔画以及一张剪纸后的简笔画：

ChatGPT 的理解挺到位的：

当我上传四张图片之后，会发现上传的三张和第四张图片丢失（可能是服务不稳定造成的，我试过好几次都是如此）

ChatGPT 果然没有收到第三张和第四张图片

如果仅仅就两张图片，它可以讲一个“自以为是”的故事

小结

就目前的体验来看，ChatGPT 的识图能力：

• 单图理解能力非常强悍

• 艺术风格识别一半一半

• 从图片生成代码差强人意

• 多图理解还挺不错

期待 ChatGPT 多模态能力的不断增强！

【完】

【往期相关】

ChatGPT发布语音和图像能力重大更新：要点解读、应用畅想与原文翻译

【AI产品】Podwise：AI助我听播客