GPU 网络通信
0 人感兴趣 · 2 次引用
- 最新
- 推荐

GPU 网络通信基础,Part 3(LLM 训练过程的网络通信;InfiniBand 真的是“封闭”技术吗?)
编者按: 为什么训练大语言模型需要如此苛刻的网络条件?InfiniBand 真的是“封闭”技术吗?英伟达在 AI 网络领域的优势究竟从何而来?

GPU 网络基础,Part 2(MoE 训练中的网络挑战;什么是前、后端网络;什么是东西向、南北向流量)
编者按: 在大规模人工智能模型训练日益依赖分布式 GPU 集群的今天,我们是否真正理解支撑这些系统高效运行的网络架构?数据如何从存储设备抵达 GPU?训练过程中不同并行策略又如何对网络提出截然不同的挑战?






