写点什么

Allreduce算法

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐

带你认识大模型训练关键算法:分布式训练 Allreduce 算法

摘要:现在的模型以及其参数愈加复杂,仅仅一两张的卡已经无法满足现如今训练规模的要求,分布式训练应运而生。

Allreduce算法_Allreduce算法技术文章_InfoQ写作社区