写点什么

从 AI 远见到中国速度:Scaling Law 发现者为何引全球热议?

作者:脑极体
  • 2025-01-01
    天津
  • 本文字数:2842 字

    阅读完需:约 9 分钟


从 20 世纪 50 年代起,AI 技术经历了 70 多年的发展。其间多种技术曾占据不同时代的高位,而当时间来到 21 世纪 20 年代,抵达我们今天正在经历的新一轮 AI 崛起,预训练大模型毫无疑问就是这个时代的主角。

那么,究竟是谁点燃了这次 AI 爆发的星星之火,推开了大模型的大门?相信你把这个问题抛给不那么了解 AI 的朋友,他也会脱口而出:是 OpenAI 啊。但就像大模型会出现幻觉一样,最近外网全面热议的一件事告诉我们,这个答案也可能掺杂了一些幻觉成分。

Scaling Law 规模化法则,也被称为大模型的尺度定律。这一定律揭示了大语言模型的模型性能与其规模、训练数据集大小,以及训练资源之间存在着一种可预测的关系。也就是说投入资源越多,模型规模越大,最终的模型效果也就可能越好。从 AI 模型走向 AI 大模型,以及采取预训练机制的必要性都是由此而产生。因此 Scaling Law 也被业界广泛认为是模型预训练的第一性原理。


但就这项核心理论的起源,最近却有一项讨论火爆外网。根据 AI 大佬爆料,以及《南华早报》等权威媒体的报道,中国科技巨头百度比 OpenAI 更早发现了这一原理。这也意味着中国 AI 在大模型时代的前瞻性探索上可能更为超前。

而“AI 突破总来自百度”这一现象的背后,更展示了体系化 AI 创新的核心价值。如何在全球 AI 竞赛的大背景下,全面释放出百度的体系化 AI 创新价值,将是未来中国 AI 发展的核心课题。


事情的起源是这样的。11 月 12 日,在 Lex Fridman 的播客节目中,Anthropic 联合创始人 &CEO Dario Amodei 探讨了 Claude、AI 模型的扩展规律、AGI、AI 未来等多个话题。其中,作为 AI 领军人物的 Dario Amodei 也谈到了 Scaling Law 这个关键规律的发现。他提到了他最早发现这个规律,始于此前在百度工作时的相关研究。根据资料显示,Dario Amodei 于 2014 年 11 月到 2015 年 10 月期间在百度工作,当时他在百度硅谷人工智能实验室(SVAIL)工作,致力于将深度学习模型扩展到大规模高性能计算系统。

Dario Amodei 提到,2014 年与吴恩达在百度研究 AI 的时候,他就已经发现了模型发展的规律 Scaling Law,“随着你给它们提供更多数据,随着你让模型变大,随着你训练它们的时间越来越长,模型的表现开始越来越好。当时我并没有精确地衡量,但我和同事们都非常非正式的感觉到,给这些模型的数据越多、计算越多、训练越多,它们的表现就越好”。


这个说法很快也得到了其他途径的权威证明。11 月 27 日,Meta 研究员、康奈尔大学博士候选人 Jack Morris 在 X 上表示,“大多数人不知道,关于 Scaling Law 的原始研究来自 2017 年的百度,而不是 2020 年的 OpenAI”。

这个说法的来源是,在百度于 2017 年发表的论文《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》论文当中,已经对 Scaling Law 做出了详细研究,并探讨了机器翻译、语言建模等领域的 Scaling 现象。业内人士认为,这篇论文的重要性被严重忽视了。

而透过这次全球 AI 界的正本清源,我们真正能够看到的是百度在 AI 领域的前瞻性与系统化创新能力。很多 AI 的答案总是由百度来找到,已经成为业界的全新共识。


十年之前,互联网技术正在持续发展,移动时代正处在高位。当时几乎没有哪家科技公司愿意从眼前的利益中抽身,去看看更遥远的未来。

但如果每家科技企业都固守短期利益,那么当科技拐点到来,下一轮技术突破开启,整个社会的科技竞争力不足就会暴露出来。我们只能重复一次又一次科技模仿者的角色。

好在百度决定打破这个循环,用预判能力提前点燃 AI 的星星之火。这种预判性,已经为百度,乃至为整个中国 AI 领域带来了极大效益。比如尽管外部刚刚爆料出百度更早发现 Scaling Law 的信息。但百度早已经基于对 Scaling Law 的研究和理解,很早就投入到预训练大模型的工作当中。于是可以在全球第一梯队发布大模型技术,率先打造投入应用的 AIGC 产品。


早在 2013 年 1 月的百度年会上,李彦宏宣布成立了深度学习研究院,并亲自任院长。李彦宏认为,“这应该是全球企业界第一家用深度学习来命名的研究院”。这意味着,在全球大多数科技企业对 AI 的认知停留在科幻电影的阶段,百度已经率先将 AI 技术作为学术研究与业务落地的发展方向,继而开始体系化、系统化进行 AI 创新。

多年以来,百度在硬件、基础软件、模型算法、业务落地等维度进行了 AI 探索。后来的事实也证明,对单项 AI 技术的投入只能是模仿,只有从源头上进行体系化研发投入,才能提供源源不断的 AI 创新成果。由李彦宏的前瞻性出发,启动搭建的百度 AI 系统,让百度十年来成为 AI 人才、AI 技术与 AI 基础设施的策源地。


从人才角度看,全球 AI 人才看到了百度 AI 的未来,争相加入到这个体系中来。比如说 2014 年,吴恩达加入百度并在研究院首席科学家,担任百度公司首席科学家,负责百度研究院的领导工作。2014 年 5 月 19 日,百度宣布任命吴恩达博士为百度首席科学家,全面负责百度研究院。同样在 2014 年,Dario Amodei 斯坦福博士后毕业后加入百度硅谷 AI 实验室。之后,Dario amodei 又招募了 Jim fan 来百度实习。这些人后来都成为 AI 爆发的全球领军人物,将百度的 AI 积淀带向世界。

从业务发展的角度看,百度在自然语言处理、机器视觉、知识图谱等领域打下了坚实的技术底座,并率先将 AI 技术带到搜索、信息流、地图、自动驾驶等核心业务,全面迭代了科技行业与 AI 技术的关系,为未来千行百业的智能化指定了航标。


从基础设施的角度看,百度打造的飞桨+文心大模型体系已经成为 AI 开发者与产业智能化共同依托的技术底座。目前,飞桨文心开发者数量已达 1808 万,服务了 43 万家企业,创建了 101 万个模型。百度已经成为 AI 模型与 AI 开发者的摇篮。

不至 Scaling Law,百度在 AI 领域点燃了无数星星之火。它们燃烧盛放,成为中国 AI 在全球赛场上的动力引擎。


时间来到今天,预训练大模型驱动全球新一轮科技革命。在这个阶段当中,百度凭借跨越十年的 AI 洞见,以及由此打造的体系化 AI 创新,全面提升了中国 AI 的发展加速度。

比如说,百度在 2019 年发布了第一代文心大模型,几乎与 OpenAI 处于同一时期;2023 年,百度是全球第一家推出生成式 AI 产品的科技大厂,让中国用户有了与无时间差的 AI 革命体验。

今天,百度文心大模型日调用量已经超过 15 亿。对比今年 5 月 2 亿的日调用量,半年时间达到了原来的 7.5 倍,对比一年前 5000 万的日调用量,达到了 30 倍。文心已经真正成为中国预训练大模型的底牌与王炸。


而把百度的前瞻能力与体系化 AI 创新,放在更大的全球科技竞赛背景中看,会发现其有着极其深远的意义。

日前,外媒 Axios 援引知情人士消息,美国候选总统特朗普计划任命一位人工智能部长(AI czar),以协调联邦政策和政府对新兴技术的使用。“AI 部长”将在集中公共和私人资源方面发挥作用,确保美国在全球范围内占有人工智能发展的领先地位。这预示着特朗普下一个任期内 AI 技术发展将加速迎来变局。AI 对于社会经济、国家战略的意义正被推升到史无前例的高度。

在全球 AI 竞赛的必然趋势下,百度的深入积累的 AI 技术路径、研究方法与工程化实践、应用探索,都将成为未来中国 AI 加速度的来源。

如何透过 Scaling Law 的全球热议,看清百度 AI 基座的不可替代性,并将这种价值应用在未来必将发生的 AI 竞赛中,将是中国 AI 接下来一个深刻且富有想象力的命题。


发布于: 刚刚阅读数: 5
用户头像

脑极体

关注

还未添加个人签名 2020-06-12 加入

还未添加个人简介

评论

发布
暂无评论
从AI远见到中国速度:Scaling Law发现者为何引全球热议?_AI_脑极体_InfoQ写作社区