大模型推理平台_大模型推理平台技术文章_InfoQ写作社区

全部标签 



写点什么

登录注册

大模型推理平台

0 人感兴趣 · 1 次引用

关注

最新
推荐

基于 SGlang RBG + Mooncake 打造生产级云原生大模型推理平台

阿里云基础软件

01-16

本文旨在阐明如何将 Mooncake Store 作为 RBG 编排下 SGLang PD 分离推理服务的补充角色，系统化实现生产级 KVCache 外置能力。

云原生 Mooncake SGlang RBG 大模型推理平台

1