GPT-4 满分通过 MIT 本科数学考试！这套提示词火了

量子位 | 公众号 QbitAI

万万想不到啊，MIT 数学考试，被 GPT-4 攻破了？！

突然有人在最新论文工作中高调宣布：

GPT-4 在 MIT 的数学和 EECS（电气工程和计算机科学系）本科学位考试中，表现出的能力完全满足毕业要求。

而且妥妥地拿下满分！

要知道，测出这个结果的不是别人，正是来自 MIT 和波士顿大学、康奈尔大学的研究团队。

而且强如上一代王者 GPT-3.5，在同样的测试中，只成功搞定了三分之一。

△GPT-3.5 考试成绩

论文一出，无数目光迅速被吸引过来。

GPT-4 这样看似开挂的行为，自然引发了不少网友的感慨。

比 GPT-3.5 强好多，好耶！

咱就是说，有没有可能以后不需要比 GPT-4 更强的模型，来解决学术问题了？

还有网友展现了自己网上冲浪的“前沿性”，玩了个这两天 Yann LeCun 吐槽“GPT-4 智商不如狗”的梗：

GPT-4 开挂 MIT 考试

具体来说，GPT-4 这次是参与了这样一场测试：

研究团队策划了一个数据集，其中包含 4550 个问题和解决方案。

这 4550 个问题和解决方案，来自 MIT 数学系和 EECS 的学生获得本科学位，需要学习的课程问题集、期中考试和期末考试。

包括：

6-1：电气科学与工程；6-2：电气工程与计算机科学；6-3：计算机科学与工程；6-4：人工智能与决策；18-1：普通数学；18-2：应用数学；18-3：纯数学；18-C：数学与计算机科学。

△每个专业的详细分类总结

题目统统出自 MIT 的数据集，从中随机生成 228 个问题，不涉及图像和已有解决方案的问题。

题目的难度等级由易到难依次为：练习、习题、 期中考试、期末考试、实验和专题。

按答案类型排序，题目的难度由易到难依次为：编程、开放、选择题、数值、表达式和图像。

这一次，参与考试的不只有 GPT-4 和 GPT-3.5，还有 StableVicuna-13B、LLaMA-30B 和 LLaMA-60B。

选择让这 4 个大模型作为考试参赛选手，原因是它们是“最先进的大语言模型”。

△最终考试成绩

通过表格里的数据可以看到，得分最高的是经过调优后的 GPT-4，得分率 100%；表现最一般的是 LLaMA-30B，只拿下了 30%的分数。

值得关注的是，原始版本的 GPT-4 开箱即用，完全不经过调优，在本次 MIT 考试中也拿到了 90%的分数。

调优流程，包括 Few-Shot+CoT+Self-critique+Experts。

从最终考试成绩的表格数据可以看到，从左到右每增加一个环节，调优后的 GPT-4 得分都会更上一层楼。

此外，研究团队还在提示框里进行了工程优化，具体的“咒语”如下：

等等，评分人是 GPT-4 自己？

看到这样的结果，不少网友心生感慨，LLM 在数学考试上的进步，未免有些神速了哈。

2 年前，AI 还在苦苦挣扎小学数学问题。

类似“小明种了 5 棵柠檬树，每年从每棵树上得到 6 个柠檬，10 年间他总共得到多少柠檬”这种。

去年年初，MIT+哈佛+哥伦比亚大学+滑铁卢大学的联合研究表示，把数学问题转换成等价的编程问题，就可以让 GPT-3 的同门师兄弟——OpenAI 的 Codex 掌握高数，达到 MIT 本科水平。

学了 6 门 MIT 本科基础数学课里随机抽取的例题，6 门课程每门随机出 25 道题，再加上一个 ACT 水平（美国高考）的数据集里的 60 道题。

总计 210 道题，AI 全部答对。

不过有人提出，AI 达到的“MIT 本科水平”，实际是 Codex 在做语言题而非数学题——

因为当时的评测中，Codex 负责读写，并不包括求解。

所以，这一回 GPT-4 表现奇佳，怎一个妙字了得～

好了，知道你很着急夸它，但你先别着急夸它，因为很快有人发现了一些“诡异”。

主要有 2 大槽点。

第一个值得质疑一番的，就是 OpenAI 的训练数据集没有完全公布。

这也就意味着，无法证明数据集中的 4550 个问题和解决方案，在 GPT-4 的训练集中不存在。

换句话说，如果 GPT-4 在预训练阶段已经接触到了这次的考题们，那最终拿下完美得分，就没什么好惊喜的了。

也难怪乎有网友毫不客气地 yygq，认定 GPT-4 拿到这样的结果，一定是数据集已经包含在训练数据里了。

第二个槽点，就是 GPT-4 最后 100%的得分率，似乎哪里不对劲？？？

定睛一看，在论文的第 2.6 节有一句很关键的点：

团队在数据集上微调开源大模型，“给定问题 Q、基本事实解 S 和 LLM 答案 A，我们使用 GPT-4 自动对模型响应进行评分”。

实际操作上，就是每个大模型生成这次考试的答案，然后派出 GPT-4 打分，分值在 0-5 之间。

所以给 GPT-4 打出满分的，实际上是 GPT-4 自己。

啊这……很难说没有王婆卖瓜自卖自夸的嫌疑。

此外，关于要给 GPT-4 提供“好的提示”，才能让它达到满分成绩，也让许多人抱有微词。

到底什么算“好的提示”呢？似乎无法定义。

甚至有人喊着，应该把这些题丢给 MIT 数学和 EECS 的学生去做，并不断给他们“好的提示”，这样人类学生也能拿下 100%的吧……

One More Thing

一个小小的彩蛋：

整个测试中，基本上可以在笔记本电脑上部署运行的 StableVicuna-13B，也有 48%的得分率。

这个成绩，不仅比模型更大的 LLaMA-65B 高出近 10 个百分点，就连 MIT fine-tuing 过后的 LLaMA-30B，还要高。