写点什么

KV缓存

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/cf/cf5b703a6f50dc83a8e2b1e6d8d2a72f.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

LLM 推理优化探微 (2) :Transformer 模型 KV 缓存技术详解

编者按:随着 LLM 赋能越来越多需要实时决策和响应的应用场景,以及用户体验不佳、成本过高、资源受限等问题的出现,大模型高效推理已成为一个重要的研究课题。为此,Baihai IDP 推出 Pierre Lienhart 的系列文章,从多个维度全面剖析 Transformer 大语言模型

KV缓存_KV缓存技术文章_InfoQ写作社区