GPT-4 满分通过 MIT 本科数学考试!这套提示词火了
量子位 | 公众号 QbitAI
万万想不到啊,MIT 数学考试,被 GPT-4 攻破了?!
突然有人在最新论文工作中高调宣布:
GPT-4 在 MIT 的数学和 EECS(电气工程和计算机科学系)本科学位考试中,表现出的能力完全满足毕业要求。
而且妥妥地拿下满分!
![](https://static001.geekbang.org/infoq/f6/f630fde3fa88e618ff5ff53f19a47a19.png)
要知道,测出这个结果的不是别人,正是来自 MIT 和波士顿大学、康奈尔大学的研究团队。
而且强如上一代王者 GPT-3.5,在同样的测试中,只成功搞定了三分之一。
![](https://static001.geekbang.org/infoq/13/136e09f644278f7023734b43825dd9ea.png)
△GPT-3.5 考试成绩
论文一出,无数目光迅速被吸引过来。
![](https://static001.geekbang.org/infoq/6c/6cce7930ad4b387eebdc12b19c6670f6.png)
GPT-4 这样看似开挂的行为,自然引发了不少网友的感慨。
比 GPT-3.5 强好多,好耶!
![](https://static001.geekbang.org/infoq/cf/cf3d2275d63233f73567c78b725dfd80.png)
咱就是说,有没有可能以后不需要比 GPT-4 更强的模型,来解决学术问题了?
![](https://static001.geekbang.org/infoq/6f/6f9beb5fa350c9400f8a60e61a3281c9.png)
还有网友展现了自己网上冲浪的“前沿性”,玩了个这两天 Yann LeCun 吐槽“GPT-4 智商不如狗”的梗:
![](https://static001.geekbang.org/infoq/d7/d7ea47434989b7129091f15edc122025.png)
GPT-4 开挂 MIT 考试
具体来说,GPT-4 这次是参与了这样一场测试:
研究团队策划了一个数据集,其中包含 4550 个问题和解决方案。
这 4550 个问题和解决方案,来自 MIT 数学系和 EECS 的学生获得本科学位,需要学习的课程问题集、期中考试和期末考试。
包括:
6-1:电气科学与工程;6-2:电气工程与计算机科学;6-3:计算机科学与工程;6-4:人工智能与决策;18-1:普通数学;18-2:应用数学;18-3:纯数学;18-C:数学与计算机科学。
![](https://static001.geekbang.org/infoq/20/204a8bfdf09bc9c45f6d4503e9dd5d8e.png)
△每个专业的详细分类总结
题目统统出自 MIT 的数据集,从中随机生成 228 个问题,不涉及图像和已有解决方案的问题。
题目的难度等级由易到难依次为:练习、习题、 期中考试、期末考试、实验和专题。
按答案类型排序,题目的难度由易到难依次为:编程、开放、选择题、数值、表达式和图像。
这一次,参与考试的不只有 GPT-4 和 GPT-3.5,还有 StableVicuna-13B、LLaMA-30B 和 LLaMA-60B。
选择让这 4 个大模型作为考试参赛选手,原因是它们是“最先进的大语言模型”。
![](https://static001.geekbang.org/infoq/bc/bcdf8deace8142b183d516a126d763c3.png)
△最终考试成绩
通过表格里的数据可以看到,得分最高的是经过调优后的 GPT-4,得分率 100%;表现最一般的是 LLaMA-30B,只拿下了 30%的分数。
值得关注的是,原始版本的 GPT-4 开箱即用,完全不经过调优,在本次 MIT 考试中也拿到了 90%的分数。
调优流程,包括 Few-Shot+CoT+Self-critique+Experts。
![](https://static001.geekbang.org/infoq/31/31aa51fb8a389b4eddb4f7cd2b10a19d.png)
从最终考试成绩的表格数据可以看到,从左到右每增加一个环节,调优后的 GPT-4 得分都会更上一层楼。
此外,研究团队还在提示框里进行了工程优化,具体的“咒语”如下:
![](https://static001.geekbang.org/infoq/f8/f89fe3e5dd212dcea874a51985f5fa1f.png)
等等,评分人是 GPT-4 自己?
看到这样的结果,不少网友心生感慨,LLM 在数学考试上的进步,未免有些神速了哈。
![](https://static001.geekbang.org/infoq/23/23552e2183e5afe1b7a8b899439c1609.png)
2 年前,AI 还在苦苦挣扎小学数学问题。
类似“小明种了 5 棵柠檬树,每年从每棵树上得到 6 个柠檬,10 年间他总共得到多少柠檬”这种。
![](https://static001.geekbang.org/infoq/3f/3f3184855eaf1e74fe6c45552fa7a88c.png)
去年年初,MIT+哈佛+哥伦比亚大学+滑铁卢大学的联合研究表示,把数学问题转换成等价的编程问题,就可以让 GPT-3 的同门师兄弟——OpenAI 的 Codex 掌握高数,达到 MIT 本科水平。
学了 6 门 MIT 本科基础数学课里随机抽取的例题,6 门课程每门随机出 25 道题,再加上一个 ACT 水平(美国高考)的数据集里的 60 道题。
总计 210 道题,AI 全部答对。
![](https://static001.geekbang.org/infoq/87/87636d3380db681a32cfb0c96163cd34.png)
不过有人提出,AI 达到的“MIT 本科水平”,实际是 Codex 在做语言题而非数学题——
因为当时的评测中,Codex 负责读写,并不包括求解。
所以,这一回 GPT-4 表现奇佳,怎一个妙字了得~
![](https://static001.geekbang.org/infoq/0a/0a2a257783219b06e463d9894babf5ac.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
好了,知道你很着急夸它,但你先别着急夸它,因为很快有人发现了一些“诡异”。
主要有 2 大槽点。
第一个值得质疑一番的,就是 OpenAI 的训练数据集没有完全公布。
这也就意味着,无法证明数据集中的 4550 个问题和解决方案,在 GPT-4 的训练集中不存在。
换句话说,如果 GPT-4 在预训练阶段已经接触到了这次的考题们,那最终拿下完美得分,就没什么好惊喜的了。
也难怪乎有网友毫不客气地 yygq,认定 GPT-4 拿到这样的结果,一定是数据集已经包含在训练数据里了。
![](https://static001.geekbang.org/infoq/b4/b40888c583b2c87287b8e21237ed4ba3.png)
第二个槽点,就是 GPT-4 最后 100%的得分率,似乎哪里不对劲???
定睛一看,在论文的第 2.6 节有一句很关键的点:
团队在数据集上微调开源大模型,“给定问题 Q、基本事实解 S 和 LLM 答案 A,我们使用 GPT-4 自动对模型响应进行评分”。
实际操作上,就是每个大模型生成这次考试的答案,然后派出 GPT-4 打分,分值在 0-5 之间。
所以给 GPT-4 打出满分的,实际上是 GPT-4 自己。
啊这……很难说没有王婆卖瓜自卖自夸的嫌疑。
![](https://static001.geekbang.org/infoq/8b/8b21c12c174cd59c8bd03d59a10992ce.png)
此外,关于要给 GPT-4 提供“好的提示”,才能让它达到满分成绩,也让许多人抱有微词。
到底什么算“好的提示”呢?似乎无法定义。
![](https://static001.geekbang.org/infoq/09/09a1ffdafd6a55e8687bc32aeb95d82e.png)
甚至有人喊着,应该把这些题丢给 MIT 数学和 EECS 的学生去做,并不断给他们“好的提示”,这样人类学生也能拿下 100%的吧……
One More Thing
一个小小的彩蛋:
整个测试中,基本上可以在笔记本电脑上部署运行的 StableVicuna-13B,也有 48%的得分率。
![](https://static001.geekbang.org/infoq/45/45fdcecddfa62a1416159b16a4ce7e47.png)
这个成绩,不仅比模型更大的 LLaMA-65B 高出近 10 个百分点,就连 MIT fine-tuing 过后的 LLaMA-30B,还要高。
评论