Sam Altman：巨型 AI 模型时代已结束， GPT-4 是 OpenAI 最后成果

编辑宇婷

根据 外媒报道，OpenAI 首席执行官萨姆·奥特曼(Sam Altman)上周发出了警告，催生 ChatGPT 的研究策略已经“过时”。目前还不清楚未来的进步将来自哪里。

这是什么意思呢？

Altman 的表明，GPT-4 可能是 OpenAI 让模型变得更大、提供更多数据的策略中出现的最后一个重大进展。他没有说未来将采用什么样的研究策略或技术来代替它。在描述 GPT-4 的论文中，OpenAI 表示，它的估计表明模型大小的扩大会带来递减的回报。Altman 表示，公司可以建造的数据中心数量以及它们可以建造的速度也有物理限制。

Sam Altman 表示，进一步的进展不会来自于让模型变得更大。“我认为我们已经到了这个时代的尽头，它不会再是这样的巨大模型，”

他在上周晚些时候在麻省理工学院举行的一次活动上告诉观众。“我们将从其他方面使它们变得更好。”

上周晚些时候，OpenAI 的 CEO 警告说，孕育出这个机器人的研究策略已经到了尽头。未来的进展尚不明确。

自从 OpenAI 在 11 月推出 ChatGPT 以来，微软已经使用了相关技术，为 Bing 搜索引擎添加了聊天机器人，而 Google 也推出了竞争对手 Bard 聊天机器人。许多人都急于尝试使用这种新型聊天机器人来帮助工作或个人任务。

包括 Anthropic、AI21、Cohere 和 Character.AI 在内的许多资金充裕的初创公司正在投入巨大的资源，努力追赶 OpenAI 的技术。ChatGPT 的初始版本基于 GPT-3 的稍加升级版本，但现在用户也可以访问由更强大的 GPT-4 驱动的版本。

之前在谷歌从事 AI 工作的 Cohere 的联合创始人 Nick Frosst 表示，Altman 的观点认为，无限制地增加模型大小不会一直奏效。他也认为 Transformers 的进展，这种机器学习模型是 GPT-4 及其竞争对手的核心，超越了扩展。

“有许多方法可以使转换器变得更好、更有用，其中很多不涉及向模型添加参数，”他说。Frosst 说，许多研究人员已经在探索新的 AI 模型设计或架构以及基于人类反馈的进一步调整的有前途的方向。

OpenAI 的有影响力的语言算法家族的每个版本都包括一个人工神经网络，这是一种松散地受到神经元合作方式启发的软件，它被训练以预测应该跟随给定文本串的词语。

这些语言模型中的第一个 GPT-2 是在 2019 年宣布的。在最大的形式下，它有 15 亿个参数，这是调整其粗略人工神经元的连接数的数量度量。当时，由于 OpenAI 的研究人员发现扩大规模可以使模型更加连贯，这是相对于以前的系统非常大的。该公司推出的 GPT-2 的继任者 GPT-3 在 2020 年宣布，规模更大，有 1750 亿个参数。该系统广泛的生成诗歌、电子邮件和其他文本的能力，帮助说服了其他公司和研究机构将其自己的 AI 模型推向类似和更大的规模。

ChatGPT 在 11 月首次亮相后，模因制造者和技术评论员猜测，当 GPT-4 推出时，它将是一个令人眼花缭乱的大小和复杂性的模型。然而，当 OpenAI 最终宣布这个新的人工智能模型时，公司并没有透露它有多大，也许是因为大小不再是唯一要紧的。

在麻省理工学院的活动上，Altman 被问及训练 GPT-4 的成本是否为 1 亿美元；他回答说，“那还不止。”

尽管 OpenAI 正在保密 GPT-4 的大小和内部工作方式，但很可能它的一些智能已经超越了规模。其中一个可能是使用了强化学习和人类反馈的方法，这种方法被用来增强 ChatGPT。它包括让人类评判模型的答案质量，以引导它提供更有可能被评为高质量的回答。

GPT-4 的显著功能已经震惊了一些专家，并引发了有关 AI 改变经济的潜力以及传播错误信息和消灭就业机会的争论。一些 AI 专家、技术企业家（包括 Elon Musk）和科学家最近写了一封公开信，呼吁对开发任何比 GPT-4 更强大的东西进行六个月的暂停。

在上周的麻省理工学院活动上，Altman 确认他的公司目前没有开发 GPT-5。“信的早期版本声称 OpenAI 正在训练 GPT-5，”他说。“我们现在没有，也不会有。”

这到底是商业上对对手的迷障还是对技术的先知？OpenAI 的 CEO 表示，巨型 AI 模型的时代已经结束。