All in AI，现在开始算不算太晚？

2023-05-08
湖北
本文字数：5257 字
阅读完需：约 17 分钟

编者按：目前大模型近乎可以帮助人类处理方方面面的事情，如对话、写文章、写代码等等。在大模型“狂飙”趋势下，想要从事 AI 领域的小伙伴可能会犹疑：现在进入 AI 领域会不会已经太晚了？
本文作者结合自身转型经历和对 AI 市场的研判，阐述了进入人工智能领域从来都不会太晚，There's no time like the present。
本文还详述了，在“AI 渗透一切”的时代，如何快速掌握必要的 AI 知识，以及如何在 AI 时代找到自身职业定位。
以下是译文，Enjoy!

作者 | swyx

编译 | 岳扬

我的一位开发者朋友最近跟我说：“如果我现在是 20 岁，我会放下一切 all in 人工智能。”但他已经花了十多年的时间去学习专业知识、积累社交人脉和良好的声誉，已经达到他目前所在领域的最高水平。因此，他现在还得留在原来的领域。另一位较年长的大学时期朋友是一家上市科技初创公司的高管。他对现在的工作得心应手，拥有近乎完美的简历，他之前的职业经历也是令人羡慕的岗位。然而，他现在正在转变方向，因为正如他告诉我的那样，"生命是短暂的"，他不想在结束时想 "如果当时..."。

最近几天，我同从事技术工作和非技术工作的朋友都有过类似上面这样的对话。虽然我很想让这篇文章关注具体的技术发展和分享飞速发展的最新技术，但我认为有必要花一期来讨论职业转型话题，因为这正是我凑巧特别有资格能够讨论的话题。

01 三十多岁时的转折期

我还记得在我 30 岁第一次进行职业转型时有多么可怕，当时我已经在金融行业工作了 6-7 年，我从 16 岁起就一直想要从事金融行业，穿梭于世界各地，向 CEO 们提问，并帮助管理一家世界顶级对冲基金的 10 亿美元资产。看起来我很厉害，但我深知我的内心并不满足，这不是我的最终目标。与从无到有创造出一些东西相比，让一些捐赠基金和养老金的数字变得更加大，就显得微不足道了。我决定从金融行业转向软件工程（和开发者关系） 。接下来发生的大家都已经知道了[1]。

六到七年后，我又一次转变了我的职业。我认为从软件工程师（SWE）到人工智能（AI）的转变几乎和从金融到软件工程师的转变一样大，它们只是表面上看起来相似（都是计算机领域），但是需要大量的新知识和实践经验才能使工作变得有效率。我的转变策略和上次一样：尽可能开始的六个月每个晚上和周末学习，以确保我对要进入的领域拥有浓厚的兴趣（注释 1，文末有解释，后同），而且我能够取得有意义的进步，然后就开始与过去 say goodbye/破釜沉舟/全力以赴，并告诉大家我进入了这个领域[2]（注释 2）。

但那只是适用于我自己的情况。每个人的情况可能都会不同。我相信如果你愿意，可以找到如何做到成功转行的方法。这篇文章面向的对象是那些想要获得足够自信去做出决定的人。

我认为，在科技职业的选择中存在很多隐藏的年龄歧视（ageism）和沉没成本误区[3]（sunk cost fallacy）。因此，以下是我快速列出的一些理由，可以说明你不会因为年龄问题而无法转行。

02 哪怕你年龄已经很大仍应进入 AI 领域的原因如下

2.1 人工智能极大的潜力/发展速度

杰夫·贝索斯（Jeff Bezos）在 30 岁时辞去金融工作，创办了亚马逊。
他这样做是因为 1994 年互联网使用量每年增长 2300％。
通用技术[4]（general purpose technologies）（注释 3）的推广需要数十年的时间。
想象一下，如果你可以在 2000 年或 2010 年成为技术领域的“后浪”，却得出结论认为“为时已晚”而没有进入互联网行业。
自 1 月以来，ChatGPT 的使用量增长了 1000% [5]（注释 4）。

2.2 上手 AI 需要的时间比我们想象的要短

如果不是通过获取博士学位的路径进入机器学习领域，需要先参加 Andrew Ng （吴恩达）在 Coursera 上的课程[6]三个月左右，然后就会意识到仍需要数年的自学和实践经验才能在机器学习领域做出有趣的事情。
但目前我们掌握生成式 AI 的学习路径正在变得越来越简单。（注释 5）
Jeremy Howard 的 fast.ai 课程[7]从 2016 年开始就宣称让学生在七周内进入人工智能领域。到了 2022 年，他已经通过十节 90 分钟的课程带领学员重新实现 Stable Diffusion[8]。Suhail Doshi 在 2022 年 6 月参加了这门课程，到了 11 月就推出了 Playground.ai[9]。
这在一定程度上是由 2017 年推出的 Transformer 架构推动的，自那以后它几乎进入了每个 AI 领域[10]，并提供了一个强大并且灵活的 baseline，从而使之前的架构知识变得可有可无。因此，没有数十年的研究需要学习，只需要学习最近五年的内容。

https://www.stateof.ai/2018

有一些读者询问了关于 AI 涉及到的数学问题。AI 是否“只是使用了矩阵乘法（matrix multiplication）” [11]存在争议，如果你愿意，可以在大学线性代数和微积分课程中学习矩阵乘法，但我的回答是你不必这样做，现在的那些 AI 开发框架（比如 Pytorch）可以帮助你进行任何反向传播（backpropagation)和矩阵操作（matrix manipulations）。
当然，走捷径并不能让你变成能够推动技术发展的博士。 但看看最顶尖 AI 研究员的职业生涯，你也可以了解需要多长时间才能达到最高水平。Yi Tay 在 Google 贡献或领导完成了许多最新的 LLM 成果，但你可能会惊讶地发现他才获得博士学位约 3.3 年的时间。Ashish Vaswani 在发表 Transformer 论文时距离博士毕业也只有 3 年，而 Alec Radford 发表 GPT 和 GPT-2 论文时刚本科毕业 2 年。
类似这样的职业轨迹在物理、数学、医学等更成熟的领域不会发生，因为它们的 “FOOM(Fast Onset of Overwhelming Mastery) ” 年代[12]已经过去了几个世纪，而 AI 的“foom” 正在明显地发生。
这些话都是为了说明：这仍然是一个非常年轻的领域，在 20 年后，没有人可能会关心你觉得自己“晚入行”。

2.3 除了成为专业的机器学习领域的研究员，还有许多领域可以选择

Prompt 和大模型能力研究： Riley Goodside[13] 的职业生涯在 2022 年急剧变化，通过在推特上发布 GPT-3 的使用技巧，他从 Grindr 的数据科学家变成了世界上第一位高级 Prompt 工程师[14]，他还发现并普及[15]“提示注入（prompt injection） ”这种重要的 LLM 安全问题。自那以后，许多人已经意识到寻找 GPT-3 和 GPT-4 的有趣使用案例在社交媒体上很受欢迎。
软件工程领域： 最近，Whisper.cpp 和 LLaMA.cpp 激发了许多人对在用户终端上运行大型模型的兴趣[16]。我听了 Georgi Gerganov 在 Changelog 上的采访[17]，并得知他在 2022 年 9 月自称“非 AI 信仰者”，只是为了好玩而将 Whisper 移植到了 C++。LLaMA.cpp 的发展速度比 Stable Diffusion 还要快[18]，而 Stable Diffusion 已经是有史以来增长最快的开源项目之一[19]。尽管没有进行模型训练，但 Georgi 的软件工程专业知识使得这些基础模型更加易于接入。Harrison Chase 的 Langchain[20] 通过构建首个面向所有开发人员的提示工程框架，将 Prompt 和软件的改进融合到预训练的 LLM 模型中，吸引了大量关注。从 Guardrails 到 Nat.dev 的一系列 LLM 工具都有助于弥合这些模型从学术界到商业应用的差距。ChatGPT 本身在很大程度上是与 GPT 3.5 系列模型一起交付的用户体验创新，这对前端/UI 开发者来说是个好消息。
AI 技术产品化： 说到 Stable Diffusion，Emad Mostaque 直到 2019 年都是一名对冲基金经理[21]，似乎除了为他的儿子进行“literature review of autism and biomolecular pathway analysis of neurotransmitters[22]”相关的研究之外之前并没有任何 AI 经验。但他在 2020 年参加 EleutherAI 社区后意识到 Stable Diffusion 这样的东西是可能存在的，并找到了海德堡大学 CompVis 组[24]的 Patrick 和 Robin[23]，提供了大约 60 万美元来训练和交付了 2022 年第二或最重要的 AI 产品。没有人想去审查谁做了什么，但一个前对冲基金经理通过发现机会并将财务（和组织架构）杠杆应用于时机已到的想法（ideas whose time had come）而获得大量回报是有道理的。Nat Friedman 已经公开表示，多年的研究造成的能力过剩[25]还没有被足够多的创业公司消化，看起来像 Dave Rogenmoser 这样愿意早早跳上这班车的创业人，在两年内将 Jasper 的 ARR（会计收益率）从零增长到了 7500 万美元[26]，将会获得不成比例的回报。

现有企业和各个垂直领域的创业公司都在拥抱人工智能，这表明未来将是“AI 渗透一切”的时代，因此理解基础模型可能是达到目的（利用它们）的一种手段，而不是目的本身（训练模型或对安全性和感知能力进行思考） 。少想一点你自己和你未来的潜在方向，不是“转行研究 AI”，而是在你已经感兴趣或精通的领域 "学习如何利用它"。

我最后一个与年龄相关的呼吁是通用的——挑战自己对大脑是有益的。人们普遍认为神经可塑性（Neuroplasticity）在 25 岁以后就会停止，但这是有争议[27]的。更为广泛的共识是，持续学习有助于建立认知储备（cognitive reserve） ，有助于避免像痴呆和阿尔茨海默病这样的恶性神经退行性疾病。

你是否正在处理任何类似于了解 AI 的工作，并想方设法将其运用于实际应用中的挑战？

03 我是如何学习人工智能的

我已经完成了 fast.ai 的课程内容，但也在持续关注我自己筛选的 Twitter 列表中的从业者[28]，并将笔记放入我的公开地 GitHub AI 仓库[29]和 Latent Space Discord 中[30]。大多数比较重要的新论文 在它们被发布的那周我就开始阅读，我还尽可能地运行获得很多点赞的项目和产品的代码或阅读它们的代码。我们即将在播客上发布“Fundamentals 101”系列内容，其中包括 AI 基础知识，这迫使我去阅读更多论文并了解一些我们今天认为理所当然的事情的历史（注释 6）。

https://github.com/sw-yx/ai-notes/blob/main/Resources/Good%20AI%20Podcasts%20and%20Newsletters.md

注释：

在两次职业转型中，我都并不是从零开始 - 我在 13 岁时就接触过 BASIC 编程，在 26 岁时作为期权交易员工作时，写了一些极其简单的自然语言处理代码来解析经纪商的定价 - 我希望我能向你展示，但已经过去太久了，这些内容已经找不到了。
在社区中公开发表学习过程内容可以达到人类最快的学习速率 - L((PN)^2)！[31]
这股 AI 浪潮是如此之大。不要相信我的话，听听比尔·盖茨的话[32]，他说这是自图形用户界面以来最重要的技术进步。
寒冬将至。在某一天，这个 AI 盛夏将结束，AI 寒冬[33]将再次到来。了解这股 AI 浪潮的重要性在于它可能会在任何寒冬中存活下来，就像 2001 年经济衰退后互联网行业只是短暂地停顿了一下。
强制使用生成式 AI(Generative AI) 这个术语会让我们感到不愉快，因为我们都认为它被过度炒作了[34]...但是目前还没有找到更好的替代词。
再次强调，在公开的社区发表学习内容很重要，因为担心影响我的个人名誉，我会尽可能正确，并让我在犯错时感受到额外的压力。

END

参考资料

[1]https://learninpublic.org/

[2]https://www.swyx.io/learn-in-public

[3]https://thedecisionlab.com/biases/the-sunk-cost-fallacy

[4]https://en.wikipedia.org/wiki/General-purpose_technology

[5]https://twitter.com/swyx/status/1640561992472866816

[6]https://www.coursera.org/specializations/machine-learning-introduction

[7]https://www.fast.ai/posts/2016-10-08-course-background.html

[8]https://www.fast.ai/posts/part2-2022.html

[9]https://twitter.com/Suhail/status/1591813110230568963?ref=hackernoon.com

[10]https://twitter.com/karpathy/status/1468370605229547522