【INFOCOM 2022】支持任意网络拓扑的同步流水线并行训练算法，有效减少大规模神经网络的训练时间

阿里云大数据AI技术

2022-05-05

今天要介绍的文章是来自阿里云机器学习平台PAI与香港大学吴川教授团队等人在 INFOCOM 2022 发表的论文，论文提出了一个支持任意网络拓扑的同步流水线并行训练算法，有效减少大规模神经网络的训练时间。