集合通信库_集合通信库技术文章_InfoQ写作社区

全部标签 



写点什么

登录注册

集合通信库

0 人感兴趣 · 1 次引用

关注

最新
推荐

专为大模型训练优化，百度集合通信库 BCCL 万卡集群快速定位故障

03-01

在分布式训练中，每一块 GPU 只负责处理部分模型或者数据。集群中不同 GPU 之间通过集合通信的方式，完成梯度同步和参数更新等操作，使得所有 GPU 能够作为一个整体加速模型训练。

故障定位大模型训练集合通信库 NCCL

1

玩转社区

Q&A

优质合集

精选文章

企业号社区

行业技术资讯