用这三本书，探究 ChatGPT 的底层逻辑

最近爆火的 ChatGPT 能够很好地理解人类的语言，并以流畅且符合逻辑的自然语言来反馈。刚刚发布的 GPT-4 更是在各种学科考试（美国高考 SAT、研究生入学考试 GRE 等）和专业考试（律师考试等）中能拿到前 10%的成绩。某种程度上，智能已经接近人类的水平，这是之前人工智能系统无法想象的。

大家可能都很好奇，人工智能是怎么做到的？究竟发生了什么？背后的原理是什么？

ChatGPT 的底层技术，其实是大规模深度神经网络，也就是深度学习。“鉴往”才能“知来”，关于这段历史，在《人工智能简史》第 5 章“神经网络简史”中有非常精彩的描述。简述一下：最初，神经网络出自控制论之父维纳研究团队的 McCulloch 和 Pitts 在 1943 年发表的论文（McCulloch 是精神病学系的教授，而当时 Pitts 才 20 岁，高中辍学）。1957 年，Rosenblatt 发明的感知机爆红，当时连美国国防部和海军都资助了他的研究工作，Rosenblatt 也一改往日的害羞，经常在媒体出镜，他开跑车，弹钢琴，到处显摆。这使得另一派的人相当不爽，Minsky 坚定认为，神经网络不能解决人工智能的问题，还在书中证明单层神经网络连计算机最基础的异或问题都无法解决，在 Minsky 的“强大攻击”下，Rosenblatt 最终遭遇不幸（1971 年，Rosenblatt 在生日当天划船时淹死，很多人认为他是自杀。此外有证据表明，Rosenblatt 和 Minsky 很早就有瓜葛，两人是中学同学。而且早期，Minsky 是神经网络的支持者）。到了七八十年代，只剩早期神经网络研究的“幸存者”Hinton 等人在学术界边缘苦苦坚持。终于到 2012 年，Hinton 的得意门生 Ilya Sutskever 通过 AlexNet 解决视觉识别问题，一举天下闻。而 GPT 系列更是 Ilya 在 OpenAI 率领一众年轻生力军几年磨一剑，通过攻破语言问题，实现人工智能有史以来最大突破。

人工智能简史

目前，深度学习方面有很多书，但大部分机器学习的内容比较多，偏数学、理论，不容易懂，而且很多技术细节在大模型时代也没那么重要了。要更直接、深入地理解神经网络，图灵有两本书是最适合的。一本是鱼书，一本是苹果书。

“鱼书”即《深度学习入门：基于 Python 的理论与实践》，最近不少人在用它恶补深度学习基础知识：

深度学习入门：基于Python的理论与实现

这是一本真正意义上的“入门书”！书中没有使用内容不明的黑盒，而是从我们能理解的最基础的知识出发，一步一步地实现最先进的深度学习技术。

美国物理学家费曼说：“What I cannot create，I do not understand.” 只有创造一个东西，才算真正弄懂了一个问题。这本书就是教你如何创建深度学习模型。跟随这本书，你将从零开始编写可实际运行的程序，一边看源代码，一边思考。作者斋藤康毅坚信，这种做法对正确理解深度学习是很重要的。

如果把《深度学习入门》比作一本关于汽车的书，那么本书并不会教你怎么开车，而是要让你理解汽车的原理。因此，会带领你打开汽车的引擎盖，把零件一个一个地拿在手里观察，并尝试操作它们。之后，用尽可能简单的形式提取汽车的本质，并组装汽车模型。

本书畅销多年，在豆瓣上获得 9.5 分好评！

上周五，云风大佬就在 Twitter 晒了自己的正在读这本《深度学习入门》：

这条信息还吸引来了作者斋藤康毅：

进而引起了大家对这本“鱼书”的讨论，纷纷认可这是一本不可多得的入门好书！

第二本是 OpenAI 总裁兼董事长 Greg Brockman 的 AI 入门读物“苹果书”——《深入浅出神经网络与深度学习》：

深入先出神经网络与深度学习

Greg Brockman 说：在成为 OpenAI 的 CTO 之前，我原本对 AI 和机器学习知之甚少。幸运的是，我有一些在 AI 专家的朋友，包括 Dario Amodei 和 Chris Olah。我问他们一些建议，他们给了我一些很好的初学者资源。其中最有用的是 Michael Nielsen 的书 Neural Networks and Deep Learning，读完之后，我在 Kaggle 上实践了自己的新技能。在参加的第一场比赛中，我甚至一度是第一名！

Neural Networks and Deep Learning by Michael Nielsen

图灵将这本书翻译为中文后，给它取了一个好记的名字：苹果书。苹果书真正做到了理论与实践并重。首先，这本书细致地探讨神经网络和深度学习的核心概念，而不是笼统地罗列想法。这些核心概念是理解其他新技术的基础，类比学习编程语言的话，这相当于掌握一种新语言的核心语法、库和数据结构。你可能只了解某一门编程语言的一小部分，但新的库和数据结构会容易理解。毕竟，技术兴衰起落，而原理是长久的。

其次，本书将通过几十行代码，且不涉及特别的库，教计算机识别手写数字。然后通过多次迭代来改进程序，贯彻神经网络和深度学习的核心思想，同时开发一个小型神经网络库，让你可以方便地多次试验、加强理解。因此基于本书内容，你可以构建出一个功能完备的生产级神经网络库。希望有了理论和实践的基础，你可以走得更远。

此外，本书还得到了李航、马少平等多位科学家重磅推荐：

这是一本非常好的深度学习入门书，相信一定会得到大家的喜爱。

——李航

字节跳动科技有限公司人工智能实验室总监

ACL 会士、IEEE 会士、ACM 杰出科学家

这本书从神经网络和深度学习的基本原理入手，详细地解释了神经网络和深度学习的核心概念，兼顾理论和实践，是深入了解神经网络和深度学习的一本好书。

——马少平

清华大学计算机系教授博士生导师

我从看完第 1 章开始就被其深入浅出的文字以及清晰的代码实现所吸引。我相信，这本书的正式出版一定会让更多的读者受益。

——车万翔

哈尔滨工业大学计算机科学与技术学院信息检索研究中心教授博士生导师

这是一本独特且有趣的神经网络入门书，其细致程度基本上做到了手把手教学，非常适合初学者。我期待这本书能照亮更多人的人工智能之路。

——俞扬

南京大学人工智能学院教授博士生导师

这是一位物理学家写的机器学习书，内容清晰易懂，对神经网络的描述也直观形象，非常适合用来入门神经网络和深度学习。

——邱锡鹏

复旦大学计算机学院教授博士生导师

这是一本关于神经网络和深度学习的“亲近”易读的书，它将带领你轻松入门人工智能世界。

——张伟楠

上海交通大学计算机科学与工程系副教授博士生导师

这本不可多得的好书通过丰富的示例和代码实践做到了知行合一。

——王昊奋

同济大学特聘研究员 OpenKG 联合创始人

这本量子物理学家笔下的好书以一个个生动的实例驱动你恨不得一口气读完！

——徐涵

华为欧洲研究院高级战略规划经理

被这么多靠谱的大佬推荐的好书，绝对值得信赖~

步入 GPT 时代，相信你我都意识到了：学习 AI 基础知识，再也不是“只有研究 AI 的人需要”，我们每个人都该了解，如果你打算了解人工智能，使用人工智能，那么本文提到的三本书，都可以闭眼入！

最后，和大家分享一张 2018 年利用假期时间疯狂学习的 Greg Brockman，共勉！