大模型推理
0 人感兴趣 · 3 次引用
- 最新
- 推荐
大语言模型推理性能优化之七策
编者按：随着大语言模型在自然语言处理中的广泛应用，如何提高其在实际部署中的推理速度成为一个非常关键的问题。 本文详细介绍了当前提高大语言模型推理速度的七大策略，包括使用低精度计算、模型量化、使用适配器微调、采用模型剪枝、批量推理、多 GPU
⻜桨⼤模型推理部署⾼性能优化
这是 AI 大底座系列云智公开课的第 6 期内容。上一期我的同事给大家介绍大模型分布式训练过程中的优化方法，当大家完成大模型的训练后，接下来的工作就是需要完成上线部署，今天我们就介绍一下在大模型推理部署过程中的高性能优化方法。
