写点什么

分布式通信算法

0 人感兴趣 · 2 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/79/79f946ab3bd2353b8e848175e8307d50.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

分布式系统必知必会

用户头像
小梁编程汇
2022-01-03

小白学习分布式系统入门的入门指南,高阶玩家也要必知必会的分布式系统知识!

带你认识大模型训练关键算法:分布式训练 Allreduce 算法

摘要:现在的模型以及其参数愈加复杂,仅仅一两张的卡已经无法满足现如今训练规模的要求,分布式训练应运而生。

分布式通信算法_分布式通信算法技术文章_InfoQ写作社区