SGlang RBG
0 人感兴趣 · 2 次引用
- 最新
- 推荐
基于 SGlang RBG + Mooncake 打造生产级云原生大模型推理平台
本文旨在阐明如何将 Mooncake Store 作为 RBG 编排下 SGLang PD 分离推理服务的补充角色，系统化实现生产级 KVCache 外置能力。
基于 SGlang RBG + Mooncake 打造生产级云原生大模型推理平台
本文旨在阐明如何将 Mooncake Store 作为 RBG 编排下 SGLang PD 分离推理服务的补充角色，系统化实现生产级 KVCache 外置能力。
