LLM推理
0 人感兴趣 · 2 次引用
- 最新
- 推荐
TAG：BladeLLM 的纯异步推理架构
BladeLLM 设计并实现了基于 Python 的纯异步 LLM 推理架构 -- TAG (Totally Asynchronous Generator) ，以最大程度提高 GPU 利用率，提升引擎性能。
LLM 推理优化探微 (1) ：Transformer 解码器的推理过程详解
编者按：随着 LLM 赋能越来越多需要实时决策和响应的应用场景，以及用户体验不佳、成本过高、资源受限等问题的出现，大模型高效推理已成为一个重要的研究课题。为此，Baihai IDP 推出 Pierre Lienhart 的系列文章，从多个维度全面剖析 Transformer 大语言模型
