AI 框架
0 人感兴趣 · 1 次引用
- 最新
- 推荐
⻜桨⼤模型推理部署⾼性能优化
这是 AI 大底座系列云智公开课的第 6 期内容。上一期我的同事给大家介绍大模型分布式训练过程中的优化方法,当大家完成大模型的训练后,接下来的工作就是需要完成上线部署,今天我们就介绍一下在大模型推理部署过程中的高性能优化方法。
0 人感兴趣 · 1 次引用
这是 AI 大底座系列云智公开课的第 6 期内容。上一期我的同事给大家介绍大模型分布式训练过程中的优化方法,当大家完成大模型的训练后,接下来的工作就是需要完成上线部署,今天我们就介绍一下在大模型推理部署过程中的高性能优化方法。