单个大模型的训练成本，两年后或涨至近百亿美元

美国 AI 公司 Anthropic 的 CEO 达里奥·阿莫迪（Dario Amodei）近日在接受《纽约时报》记者采访时，谈到了训练 AI 大模型的成本问题。Anthropic 公司以 Claude 系列大模型而闻名，近期推出的 Claude 3 Opus 在整体性能上已经超过了 GPT-4。

达里奥·阿莫迪指出，对于目前已经训练出来的高性能大模型，一个大模型的训练成本大约在一亿美元左右（正负会有两、三倍误差）；对于目前正在训练、今年晚些时候或者明年初推出的高性能大模型，一个大模型的训练成本大约在十亿美元左右，这是正在发生的事。达里奥·阿莫迪认为到了 2025—2026 年，有关的训练成本会接近五十亿或者一百亿美元。

上述的部分训练成本数值从近期斯坦福大学发布的《2024 年人工智能指数报告》[1]中可以得到一定程度的验证。这份报告中含有若干现有大模型的训练成本的估算，例如：

• GPT-4 的训练成本估算是七千八百万美元；

• Gemini-Ultra 的训练成本估算是一亿九千万美元。

这份报告中也含有若干早期模型的训练成本的估算，例如：

• BERT-Large 的训练成本估算是三千多美元；

• RoBERTa-Large 的训练成本估算是十六万美元；

• LaMDA 的训练成本估算是一百三十万美元；

• Llama-2 70B 的训练成本估算是三百九十万美元；

• GPT-3 175B 的训练成本估算是四百三十万美元。

参考资料：

[1] https://aiindex.stanford.edu/report/

题图：Christopher Burns、Unsplash