AI 实测|基于图像、语言与声音,人工智能是否已经超越了人类?
本文作者
王加龙,阿里云高级算法专家
往期文章推荐
时序预测双飞轮,全面超越Transformer,纯MLP模型实现性能效能齐飞
前言
ChatGPT 发布后,AI 相关话题被推向了前所未有的热度,科学家、工程师、艺术家、政府人员、商人以及广大群众都在讨论 AI 话题。于是,不管是专业人士还是吃瓜群众,难免会心生一个问题:AI 是否超越了人类?
类不相同,何以对比?诚然如此。但人们在探索 AI 的过程中,一直试图从各个维度模仿着人类智能;所以,这种对比是存在意义的。
此次对比,将回避对数据、算法、算力、系统等专业知识的探讨,从自然语言任务、图像处理任务、语音生成、视频生成、代码能力、AI 推理等六大方面,详细介绍 AI 的能力表现及效果。
本文首先向大家展示 AI 在自然语言任务、图像处理任务、语音生成 3 方面的表现及效果。
业界近况
首先,快速地回顾一下 AI 行业的“近况”。
所谓“文无第一、武无第二”,在 AI 技术日新月异的当今,过多回顾历史版本的技术能力无助于探讨本文的主旨话题。所以,仅从 2023 年以来发布的基础模型中挑选一些较为关键的模型,以作管中窥豹。如下图所示,沿着时间脉络列举了近二十款重要模型,涉及文本、图像、语音等多种模态。
![](https://static001.geekbang.org/infoq/f3/f3aaa453c23cb9adfc9202de89761705.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
从模型多样性、性能炸裂程度来看,当前 AI 领域的“卷王”是 OpenAI
对比测评
为了衡量 AI 的能力,历史上有许多人提过很多有意思的测试方法,学术界也有各种各样的定量研究方法。
关于测试方法,其中很有名的一个是“图灵测试”,它是为了探究机器智能是否具备与人类相似或无法区分的能力;关于定量研究,普遍的做法是定义某种任务的测评数据集,对 AI 进行测评打分,然后对比 AI 与 Human 的得分高低。
2.1 基于图灵测试
图灵在 1950 年的论文中预测,“大约 50 年后,人们将有可能对存储容量达到 109 左右的计算机进行编程,使其在模仿游戏中表现出色,以至于一般提问者经过 5 分钟提问后做出准确判断的几率不超过 70%”。即,AI 系统的通过率达到 30%(目前不清楚图灵为何选定这个值)。时至今日已过去了 70 多年,图灵的预测到底达到了没有?针对大模型的图灵测试,UCSD 专门有人在研究。他们在 2023 年 10 月[论文]、2024 年 5 月[论文]先后共发表了 2 篇论文,以分享他们最新的研究进展和结论。
![](https://static001.geekbang.org/infoq/f9/f9147b80dc9c641d69e2a877b1e022e3.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/91/91e43cd5f7604d938578d257b074cb2e.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
根据其 2024 年 5 月的最新研究论文,在图灵测试中,GPT-4 有 54%的情况下被判定为人类。这个值意味着什么呢?它意味着 GPT-4 的通过率超出了图灵当年提到的 30%这个值,还意味着 GPT-4 被判定为人类的概率超过了五五开。
从这个意义上讲,GPT-4 已经通过了图灵测试。此外,在该测试中,人类被判定为人类人概率为 67%,也就是说人的表现还是更像人。
2.2 基于基准测评
用特定任务下的基准数据集做测试,在某些任务上大模型开始超越人类。比如,图像分类(2015)、基础阅读理解(2017)、视觉推理(2020)、自然语言推理(2021)、多任务语言理解任务(2024.1, Gemini Ultra)。但是,在复杂认知的任务上,AI 仍然不及人类,比如视觉常识推理、竞赛级的数学问题。如下图所示,虚线是人类的水准,其它实线是 AI 在不同任务下的得分。
![](https://static001.geekbang.org/infoq/c5/c5f31df640777161bd2fc3f5c780b10e.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
随着算法模型的迭代,某些经典测试基准的准确率已经很高,模型的性能也趋于饱和。所以,新的、更难的基准数据集也在被推出。因此,AI 是否超越人类与具体的任务和测试集有关。通俗地说法是,张三、李四都得了 100 分,指的是他们在试卷上的表现,换张试卷可能结果会有不同。
![](https://static001.geekbang.org/infoq/82/824757cdd9df63dd10dfb9e4ab8937a2.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
分领域详情
尽管第二节的内容能够从总体上反映出 AI 的能力现状,但仍然难让人“深有感触”。所以,要想更具体的感受到 AI 当前在各种不同任务场景下的能力,还得看得更细一点。本节将从自然语言任务、图像处理任务、语音生成、等方面,详细介绍 AI 的能力表现及效果。
3.1 自然语言任务
目前 AI 在自然语言理解方面的具体能力如何?本节将基于常见任务的测评基准,分别展开介绍。从我平时关注的、行业较为流行的 5 个测评基准来看,AI 的得分均已经超过了人类水平。
3.1.1 溯因自然语言推理(aNLI)
https://openreview.net/attachment?id=Byg1v1HKDB&name=original_pdf
如下图所示,该类任务基于给定的若干“观察”(O1、O2,通常不完备),选择出最可能的“推测”(H1、H2、H3 中最可能的一个)。
比如:当你下班回家,看到房里乱糟糟的,你会作何猜测?你首先会回忆,早上好像窗户没关紧;然后,你会推测,是不是风吹的、或者是小动物捣乱、或者是有贼人到访?这是一个很有意思的测评方式,因为人们日常生活中充满了这类场景。
![](https://static001.geekbang.org/infoq/a0/a0f6b360e7ac888c53d228d5ffc43ff0.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
在这种场景下,AI 表现如何?aNLI 数据集给出了近 17 万对训练样本、1532 对测试样本,目前 SOTA 算法准确率达到 93.7%左右(2022/5/12),超出人类水准的 92.9%。
3.1.2 基础阅读理解(SQuAD1.1)
Stanford Question Answering Dataset(SQuAD)是由 Rajpurkar 等人提出的一个抽取式 QA 数据集(闭集),v1.1 版本在 2016 年 EMNLP 的论文中提出。
SQuAD 的答案是 text span,就是以文章原文中的某小一段文字来作为问题的答案。简单地说,就是从段落里“找现成答案”。该数据集包含 10 万多个(问题、原文、答案)三元组,原文来自于 536 篇维基百科文章。
SQuAD 是行业公认的机器阅读理解顶级水平测试,是机器阅读理解领域的"ImageNet",同样是一个数据集、搭配一个竞争激烈的竞赛。
下面给出了样本,大家可以感受一下。目前,该数据集榜单上最高准确率达到了 90.6%(EM,2021),远远超越了人类的准确率 82.3%。
![](https://static001.geekbang.org/infoq/31/317aa67a48ad82d20b1de72455ae47fa.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
3.1.3 中级阅读理解(SQuAD2.0)
SQuAD 2.0 在 2018 年 ACL 的论文中被提出,该论文是当年的最佳短论文。在 SQuAD1.1 中,段落中一定会有答案,只是在哪个具体位置的问题。
SQuAD2.0 在 SQuAD1.1 的 10 万多个 QA 基础上,又针对相同段落混入了 5 万多个没答案的问题。这些新增的问题由人工刻意编写,使其看起来与相应段落相关、且看似存在合理的答案,十分具有迷惑性,因此难度更高。
要在 SQuAD2.0 上做得好,系统不仅要在可回答的情况下回答问题,还必须确定该段落何时不能支持回答该问题。下面给出了样本示例,大家可以感受下。
目前,该数据集上的最高准确率达到 90.94%(EM,2021),同样显著超越了人类的准确率 86.8%。
![](https://static001.geekbang.org/infoq/b2/b243f8a7e736f29031490aae4c87467d.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
3.1.4 英语理解(SuperGlue)
SuperGLUE(General Language Understanding Evaluation)是一个广泛用于测试自然语言理解模型性能的基准测试集合,由纽约大学发布(2020.2.13)。包含 8 个任务,涵盖了自然语言推理、问答、文本蕴含等多个领域,是自然语言理解领域最具挑战性的测试集之一,旨在推动自然语言处理技术的发展。该基准设置了一个总体评估指标:SuperGLUE 分数,即在所有任务上所得分数的平均。目前,榜单上最强模型的得分为 91.3(2022),已经超越了人类的 89.8 分。每个任务都有许多样例,以下是几个任务的样例。
3.1.5 多任务语言理解(MMLU)
多任务语言理解(MMLU)由 UC Berkeley 大学的研究人员在 2020 年 9 月 7 日提出,用于衡量文本模型的多任务准确性。涵盖了 57 个任务,包括基本数学、美国历史、计算机科学、法律等多个领域。为了在这个测试中获得高准确性,模型必须具备广泛的世界知识和问题解决能力。从下面的样例可以看出,虽然都是选择题,但因为领域很多,要都回答正确的话其难度也不小。目前,榜单上最强模型的准确率达到了 90%(Gemini Ultra, 1760B, 2024.1),正式超越了人类专家的准确率 89.9%、也超越了 GPT-4 的准确率 86.4%。
3.2 图像处理任务
目前 AI 在图像处理方面的具体能力如何?本节将基于常见任务的测评基准,分别展开介绍。
3.2.1 图像分类(ImageNet)
ImageNet 是一个“古老”的数据集,由李飞飞团队创建(2009 年 IEEE 论文)。其数据结构按照 WordNet 层次结构组织,每个节点包含成百上千个图像。其主要特征:
规模庞大:总量超过 1400 万张图片、2 万多分类,是当前最大的公开图像数据库之一。
多样性:包含了各种物体和场景,图像涵盖了动物、植物、日常生活物品等等。
高质量标注:图像经过了精确的人工标注,每个图像都有对应的物体类别和位置标签。
挑战性:其中的一些类别具有很高的相似性,使得图像分类任务具有挑战性。
自 2010 年以来,每年都会举办 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)图像识别大赛,该赛事基于 ImageNet 子集(128、5、10 万张、1000 类)。竞赛和刷榜的历史见证了很多知名神经网络模型的诞生,比如 AlexNet、VGG、GoogLeNet、ResNet、Inception、DenseNet 等模型。各类模型基于 ImageNet 持续创新迭代,准确率从从最初的 71.8%持续提升,并超越了人类的识别率 94.9%,所以该竞赛自 2017 年起不再举办(但仍可刷榜)。有人就会问,不就是一个看图识物么,难在哪里?以看图识狗为例,其在 ILSVRC 竞赛中的类别达到 120 种。由于数据太难、模型普遍不给力,所以当时的评估用采用 Top5 准确率(让你答 5 次,有 1 次对得上就算准确)。在 2017 年 ImageNet 竞赛中,最强模型的 top-5 准确率达到了 98%,而人眼辨识的 Top5 错误率大概为 5.1%(乐观估计则为 2.4%)。但当时最高的 top-1 准确率只有 82%。
![](https://static001.geekbang.org/infoq/cf/cf226ed176bd8f09738f85bc2ea0a947.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/26/26e5a3322b53b8ccba10412fd5b9dc06.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
目前,Top5 已经成为过去式,最强模型的 Top1 准确率都已经达到了 92.4%(OmniVec ViT, 2023.11)。我暂未找到人类 top-1 准确率的报道(如有人发现,敬请补充)。
![](https://static001.geekbang.org/infoq/a1/a1d620fd82295cccf46caea7a1220cd8.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
3.2.2 图像生成(HEIM)
图像生成包含了多种场景,比如文生图、图生图、图像编辑、3D 重建等等。
文生图:通过文本提示词生成图片
目前,文生图比较著名的模型有 DALL-E(OpenAI)、MidJourney、StableDiffusion。
![](https://static001.geekbang.org/infoq/a4/a458ad54749a502e8febc473ec62218b.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
一种评估文生图的方法,是 2023 年 Stanford 研究人员提出的 Holistic Evaluation of Text2Image Models (HEIM)基准,它从 12 个方面全面评估生成器的能力,比如文图一致性、图片质量、美学。目前 DALL-E2 3.5B 在文图一致性方面显著领先,但尚未有模型能在所有维度全面领先。
![](https://static001.geekbang.org/infoq/00/00df842b55d7041fe4a46998f5e21b13.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
文生图:通过文本编辑图片
通过文本提示词输入,实现对图片的编辑。这种情况下如何评价模型生成的好坏,是存在难度的。目前,EditVal 是最近新出的测评基准,用于文本引导图片编辑场景,该基准包含了 13 种编辑类型(比如调尺寸、加东西、改位置、目标替换,等等)、涉及 19 类目标。目前,各类模型的准确率普遍不高。下图是该测评基准中的样例。
![](https://static001.geekbang.org/infoq/cd/cd66c8e4d7e9b1f6aabf72895c3af97e.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
文生图:辅助图片引导的图片生成
通过文本来生成图片的一个问题是,难以精准控制图片内容的空间构成,比如复杂的布局、特定的姿势、不同的形状。理论上可以针对特定的场景进行模型的 Fine-Tuning 来实现,但实际样本的有限性、场景多样性,使得这种方式的训练并不好做。2023 年,斯坦福大学推出了一种新的模型:ControlNet。这个模型对于提升文生图的精准度具有非常重大意义。
![](https://static001.geekbang.org/infoq/d5/d5f5c5917c243b475a0b03abef8f1a74.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/70/7035559b622c365098dd6e35f2fee208.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
文生图:text-to-3D geometries
论文:https://arxiv.org/html/2308.16512v4基于文本输入,生成一组 3D 多视角的图片。典型代表是 MVDream(ByteDance&UCSD,生成 256*256 的图片),它是一个从文本到多视角图像的生成模型,同时从 2D 和 3D 的数据中学习,达到在 2D 下的泛化性以及 3D 渲染的一致性。
![](https://static001.geekbang.org/infoq/68/68d5d98b318caeb15479845bce8da56e.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
![](https://static001.geekbang.org/infoq/80/80d9c9b48edc43501943555b229e3ef5.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
文生图:3D 图片编辑
Berkeley 的研究人员开发了一个模型(Instruct-NeRF2NeRF),能基于文本指令来对 3D 图片进行编辑。
![](https://static001.geekbang.org/infoq/8f/8f3fa8a19b528ab22ba3c08664e20c6d.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
文生图:3D 重建
所谓 3D 重建,是指基于 2D 图片来生成 3D 几何体。这有啥用呢?比如,医疗图像、机器人、虚拟现实。2023 年发布的 Skoltech3D 数据集,用于多视角 3D 表面重建。该数据集包含了 140 万张图片,来自 100 种不同视角、14 种不同光照条件的 107 个场景。
图像处理:图生 3D
2023 年,牛津大学研究人员提出的 RealFusion,可以基于单张图片生成完整的 3D 模型,从而实现 3D 重建。它先是基于 2D 的图像生成器生成物体的多视角图,然后将它们组合成 360 度的模型。
![](https://static001.geekbang.org/infoq/a1/a1553048fb88eec35ebcf7dd9d53bf68.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
3.2.3 语义分割
语义分割就是将图片中的各种目标进行像素级的分割,是图像处理领域非常重要的一个分支问题。通常,语义分割模型基于特定数据的训练后,只负责从图像中分割出特定类别的目标。
2023 年 Meta 发布的模型 Segment Anything(SAM),则实现了通用分割能力,能将一张图像中所有目标都分割出来,为该技术领域开辟了新的方向。
为了实现同一张图上的多类目标、或非特定目标的分割,学术界曾提出了交互式图像分割方法,其中代表者是 RITM(三星电子的三星研究院 Samsung Labs);而 SAM 在 23 个语义分割任务测评中,有 16 个领先 RITM 模型,成为领域内最强模型。
![](https://static001.geekbang.org/infoq/39/398a15c314aec2601d02dff6e3b84b44.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
AM 是一种可提示的分割系统,对不熟悉的对象和图像进行零样本泛化,无需额外训练;根据点或框等输入提示生成高质量的对象遮罩,可用于为图像中的所有对象生成掩膜。
![](https://static001.geekbang.org/infoq/66/6637bb4055076201511dece0ef7f111c.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
官网 Demo 地址:https://segment-anything.com/demo
![](https://static001.geekbang.org/infoq/85/85ee60df1e9691535d51033facae0102.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
3.2.4 图像理解(VisIT-Bench)
VisIT-Bench 是一个用于评估“指令遵循视觉语言模型”(Instruction-following vision-language models)的新基准,针对的是真实世界的使用情况。包含 70 个“指令类型”、592 个测试用例,包括图像、指令、人工描述和验证后的生成结果,涵盖从识别到推理等各种技能。A sample VisIT-Bench instruction set
![](https://static001.geekbang.org/infoq/bf/bfdb403c7fece50f9539607b75a4b425.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
An example of a multi-image instruction task from VisIT-Bench
![](https://static001.geekbang.org/infoq/0d/0df174615c075203caefc8eba7cf8c8b.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
截至到 2024 年 1 月,GPT-4V(GPT-4 Turbo 的视觉版)是该基准上表现最好的模型。其得分达到了 1349,超越了人类水平参考分。
![](https://static001.geekbang.org/infoq/d6/d63d51a1fb35bb137b657f1a8e7d028d.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
3.3 语音生成
2023 年可以说得上是音频生成领域重大突破之年,涉及的音频合成既有人声演讲、也有音乐生成。一些重要的音频生成器,比如 UniAudio、MusicGen、MusicLM,等等。这些模型的能力到底达到了什么程度?
3.3.1 音频生成
UniAudio 是一种基于语言模型(多尺度 Transformer 模型)的用于音频内容生成的技术,于 2023 年 10 月 9 日发布(港中文、CMU、微软亚洲研究院、ZJU 等),拥有 1B 参数。经过 16.5 万小时的音频上进行了训练,支持 11 种不同的音频生成任务(超过了音频研究领域的所有其他模型)。与当前 LLMs 一样,它统一化地对所有音频类型进行分词,采用逐词预测的方式来生成高质量的音频,能够生成高质量的语音、声音和音乐。UniAudio 在 11 种任务中表现出来竞争力、并在若干任务中超越了其它先进方法,比如 Text2Speech、语音增强以及语音转换等任务。
![](https://static001.geekbang.org/infoq/aa/aa1ed2a952e76a9640d9bb2994706259.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
3.3.3 语音处理
Whisper V3 是 OpenAI 在 2023 年 11 月推出的语音模型,用于语音识别、语种辨识、语音翻译。该模型在 68 万小时的多种语言、多种任务的数据下进行了训练;不同于 Wav2Vec 等使用无监督方法训练的预训练语音大模型,Whisper 使用弱监督训练的方法,可以直接进行多任务的学习,而不需要针对特定任务做 finetune。其准确度、可靠性都接近与人类水平。
![](https://static001.geekbang.org/infoq/15/15b60e8989601427042e7ad1623133c9.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
官方样例:https://openai.com/index/whisper/
3.3.2 音乐生成
Meta 的 MusicGen 是一种新的音频生成模型,也是利用语言模型中常见的 transformer 架构来生成音频。MusicGen 可以基于简单的文本描述来创建高质量、免版税的音乐,并直接在项目中使用。
该模型使用了 1 万小时的“高质量”授权歌曲和 39 万首器乐曲目进行训练(与版权持有人签订了法律协议)。测评研究显示,MusicGen 在各种生成音乐评估指标上超过了其他流行的文本到音乐模型,如 Riffusion、Moûsai 和 MusicLM。
特点:
更低的 FAD 分数,意味着更可靠的音乐生成;
更低的 KL 得分,意味着与参考音乐有更好的一致性;
更高的 CLAP 得分,说明能更好地依循参考音乐的文本描述来进行创作。
此外,因其整体更好的质量,使得人类评估者对其更加青睐。
尽管 MusicGen 优于同年早先发布的一些 Text2Music 模型,但 MusicLM 值得一提;因为与其一起发布的还有 MusicCaps 数据集,是一个包含 5500 个“音乐-文本”对的 SOTA 数据集。
MusicGen 的研究者用该数据集对他们的系列模型进行了基准测评。MusicsGen 模型以及 MusicCaps 数据集基准的出现,意味着生成式人工智能已经不再局限于语言和图像,而是拓展到了更多样的模态比如音频生成。
![](https://static001.geekbang.org/infoq/94/94361150921f638c7db4fb23fd96df26.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
官方样例:https://about.fb.com/news/2023/08/audiocraft-generative-ai-for-music-and-audio/
写在最后
本文基于常见任务的测评基准,从自然语言理解,图像处理,语音生成三大方面对 AI 进行实测。因此,我们可以更加清晰了解到哪些能力是 AI 具备的、哪些是不具备的。在下期文章中,我会向大家展示 AI 在视频生成、代码能力、AI 推理等方面的能力表现及效果。
篇幅较长、又限于个人水平和视野,故难免存在不准确之处,敬请批评指正。欢迎探讨和交流。
版权声明: 本文为 InfoQ 作者【可信AI进展】的原创文章。
原文链接:【http://xie.infoq.cn/article/568f5a0a8cd8b0e287aa0d0b1】。文章转载请联系作者。
评论