写点什么

all-gather

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/79/797b2261572d4ab881e01597dd26b81c.jpeg?x-oss-process=image/resize,w_416,h_234

手把手推导 Ring All-reduce 的数学性质

用户头像
OneFlow
4 月 26 日

分布式深度学习里的通信严重依赖于规则的集群通信,诸如 all-reduce, reduce-scatter, all-gather 等,因此,实现高度优化的集群通信,以及根据任务特点和通信拓扑选择合适的集群通信算法至关重要。  

all-gather_all-gather技术文章_InfoQ写作社区