京东正式开源基于国产芯片自研的 xLLM 大模型推理引擎

xLLM 是基于国产芯片自研的一款大模型推理引擎，能让企业部署 AI 应用时，性能更高、成本更低。

目前，京东已将 xLLM 开源至 GitHub。同时，采用 Apache 2.0 许可证，这也意味着自由地使用于商业化产品，无任何附加条款。



此次开源的核心功能包括：

1）基于请求优先级的动态调度器；

2）动态自适应的 PD 分离架构，可根据负载实时调整 PD 实例的比例；

3）面向多模态场景的 EPD 混合分离调度器；

4）基于硬件特性的多级流水线的执行引擎；

5）涵盖图融合、投机推理、动态负载均衡的计算优化套件；

6）基于 Mooncake 的多级 KV 缓存的全局管理；



xLLM 大模型推理引擎源自京东零售核心业务。目前，该技术服务了京东 AI 助手京言、智能客服、风控、供应链助手、广告等场景，效率提升 5 倍以上，机器成本降低 90%。

我们始终坚信，AI Infra 生态建设离不开每一位开发者。开源，只是第一步。接下来，京东零售 AI Infra 团队会根据社区需求，继续开放更多高级能力，并和清华、北大、中科大、北航等产学研生态伙伴一起，推动国产 AI Infra 技术生态的协同创新，推动行业智能化升级。

同时，我们诚挚地邀请每一位对 AI Infra 技术充满热情的开发者加入我们，无论是提交 PR、提出 Issue、参加 Workshop，还是在社群分享技术实践，都将是对国产 AI Infra 技术生态最大的支持！

GitHub 地址: https://github.com/jd-opensource/xllm

官方技术交流群：