本文分享自华为云社区《降低大模型推理87%时延！华为云论文入选顶会USENIX ATC'24》，作者：华为云头条。

近日，计算机系统领域顶会 USENIX ATC 2024 在美国加州圣克拉拉召开，华为云 EMS 团队的论文《Cost-Efficient Large Language Model Serving for Multi-turn Conversations with CachedAttention》被该顶会收录！

CachedAttention 论文提出全球首个面向大模型推理的多级 KV Cache 缓存系统，称作 AttentionStore，基于 AttentionStore 实现了大模型推理过程中的 KV Cache 复用，降低了高达 87%的首 Token 时延（TTFT, Time to First Token）。

USENIX ATC (Annual Technical Conference) 会议创办于 1992 年，距今有 32 年的历史，是由美国高等计算系统协会 (USENIX) 组织的聚焦计算机系统领域的顶级国际会议。2024 年的 USENIX ATC 会议收到 488 篇投稿，录用 77 篇，录用率仅 15.8%。

CachedAttention 论文介绍

通过多轮对话与人类互动是大型语言模型（LLM）的一个基本特征。然而，现有的 LLM 服务引擎执行多轮对话时，需要反复计算历史 Token 的 Key-Value (KV) Cache，从而导致效率低下，产生高昂的推理服务成本。

为了解决这个问题，本论文提出了 CachedAttention，一种新的注意力机制允许在多轮对话中重用 KV Cache，显著减少重复计算开销从而提升推理性能。

• CachedAttention 维护一个分层的 KV Cache 存储系统（称作 AttentionStore），利用经济高效的 DRAM 和 SSD 介质来保存请求的 KV Cache。具体而言，为了减少从慢速介质上访问 KV Cache 的开销，CachedAttention 采用了分层预加载和异步保存方法将 KV Cache 访问与 NPU 计算重叠。

• 其次，为了确保要访问的 KV Cache 总是放置在最快的存储层次，CachedAttention 采用了一个调度程序感知的 Fetch 和 Evict 方法，有意识地根据推理作业调度程序的提示，在不同层中进行 KV Cache 的放置。

• 最后，为了避免由于 LLM 上下文窗口溢出而导致保存的 KV Cache 失效，CachedAttention 通过解耦位置编码并有效截断 KV Cache，使保存的 KV Cache 依然有效。

大量的实验结果表明，CachedAttention 降低了高达 87%的大模型推理的首 Token 时延 (TTFT) ，提升了 Prefill 阶段 7.8 倍的吞吐量，从而大幅降低端到端推理成本。

▲基于 EMS-AttentionStore 构建的 CachedAttention 系统架构图

CachedAttention 论文信息：Bin Gao, Zhuomin He, Puru Sharma, Qingxuan Kang, Djordje Jevdjic, Junbo Deng, Xingkun Yang, Zhou Yu, Pengfei Zuo, “Cost-Efficient Large Language Model Serving for Multi-turn Conversations with CachedAttention”, in Proceedings of the 2024 USENIX Annual Technical Conference (USENIX ATC), 2024.

华为云 AI-Native 智算存储解决方案介绍

华为云 EMS 弹性内存存储服务是业界云厂商中首个在实际场景中得到使用的内存存储服务，通过 Memory Pooling 专利技术实现了“显存扩展”、“算力卸载”、“以存代算”三大功能来打破内存墙。

不仅如此，面向整个 AI 场景，华为云还形成了 EMS 弹性内存存储+SFS Turbo 弹性文件存储+OBS 对象存储的 AI-Native 智算存储解决方案，实现万亿模型存的下，训练任务恢复快，海量数据存的起，全面引领 AI 时代数据存储变革，帮助客户构建 AI Native 的基础设施。

▲HDC 2024 上华为云发布 EMS 弹性内存存储服务

点击关注，第一时间了解华为云新鲜技术~