写点什么

流水线并行

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/82/82f126469ebc4fd0c8c746b53ee90303.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

DeepSeek 开源周 “王炸”:DualPipe 与 EPLB,榨干芯片算力的秘密武器

DeepSeek 开源 DualPipe 和 EPLB 项目,助力提升模型训练效率。DualPipe 通过重叠前后向计算通信,减少流水线气泡;EPLB 采用冗余专家策略平衡 GPU 负载。二者协同,大幅提高训练速度,充分利用芯片算力。

流水线并行_流水线并行技术文章_InfoQ写作社区