大模型训练_大模型训练技术文章_InfoQ写作社区

全部标签 



写点什么

登录注册

大模型训练

0 人感兴趣 · 6 次引用

关注

最新
推荐

AI 大底座，大模型时代的答卷

05-09

“文心一言就是在这个全国 AI 领域规模最大的高性能 GPU 集群上完成训练的。”

大模型训练

大模型时代的异构计算平台

02-23

以使用 NVIDIA GPU A100 对 GPT-3 进行训练为例，理论上单卡需要耗费 32 年的时间，千卡规模的分布式集群，经过各种优化后，仍然需要 34 天才能完成训练。

大模型训练异构计算

https://static001.geekbang.org/infoq/ed/ed406f348077134186f9565c7316f494.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

LigaAI X 猴子无限 | AIGC 火了，人类又得到了什么？

2022-11-25

大模型Fine Tune——AIGC价值闭环的最后一公里。

分布式大模型训练研发协作平台 AIGC 大规模离散模型

超大规模 AI 异构计算集群的设计和优化

2022-06-24

深入了解超大模型训练过程中的计算、通信模式，以及保证落地的最佳工程实践。

大模型训练异构计算

带你认识大模型训练关键算法：分布式训练 Allreduce 算法

华为云开发者联盟

2021-06-02

摘要：现在的模型以及其参数愈加复杂，仅仅一两张的卡已经无法满足现如今训练规模的要求，分布式训练应运而生。

分布式训练 Allreduce算法集合通信分布式通信算法大模型训练

1

玩转社区

Q&A

优质合集

精选文章

企业号社区

行业技术资讯

三周年

征文活动