vLLM 原生支持昇腾，加速大模型推理创新，社区尝鲜版本首发！

2025 年 2 月 20 日,经过 vLLM 社区与昇腾的持续合作和共同努力,vLLM 开源社区已官方支持昇腾,并创建 vLLM Ascend 这一社区维护的官方项目。这意味着用户可直接在昇腾上无缝运行 vLLM,开发者可通过 vLLM 调用昇腾进行模型适配。

图注:vLLM 社区创建了 vllm-project/vllm-ascend 项目提供昇腾的官方支持

vLLM Ascend 使能 vLLM 在昇腾平台进行大模型推理,包含以下多个特征:

支持多种模型类型,满足多样化需求

vLLM Ascend 原生支持 稠密 LLM、稀疏 Mixture-of-Expert(MoE)、多模态等在内的主流开源大模型类型,如 Qwen 系列、Llama 系列、DeepSeek 系列等。这意味着开发者可以在昇腾平台无缝运行各类大语言模型,并且可基于 vLLM 进行增量特性开发,满足不同的应用场景和性能需求。

与社区共同打造大模型极致推理性能,充分释放昇腾算力

vLLM Ascend 即将在昇腾平台支持 vLLM 多个高阶特性,如请求调度算法 chunked prefill,大模型分布式并行策略 Tensor Parallelism (TP)、Pipeline Parallelism (PP),投机解码 speculative decoding 等,开源社区最新加速能力平滑迁移,支持昇腾平台高性能推理。

全面的社区支持,让开发更简单

用户可以通过以下途径,快速学习和使用 vLLM Ascend,包括:

● 快速开始:快速开始教程详细地说明了如何开始使用 vLLM Ascend。

● 用户指南 :提供了模型支持、特性支持等关键内容。

● 开发者指南 :通过贡献指南、版本发布策略等文档为开发者提供了重要参考。

● 社区讨论:开发者可以在社区充分交流分享,一起解决问题。

开始您的尝鲜之旅

无论是 AI 领域的资深开发者,还是刚入门的技术爱好者,vLLM Ascend 都将为您提供一个高效、灵活的开发平台。立即开始您的尝鲜之旅,感受昇腾 NPU 与 vLLM 框架结合的魅力,共同探索大语言模型的无限可能!

欢迎加入我们,携手共建 vLLM Ascend 开源项目

大模型推理服务框架 vLLM 是 LF Data & AI 基金会孵化项目,因其在大型语言模型 (LLM) 推理和服务中的高吞吐量、内存高效等特点,在开源社区广受欢迎。华为是 LF Data & AI 基金会创始高级会员,同时也是 vLLM 社区的支持者和积极贡献者,华为坚持“硬件开放,软件开源,使能伙伴,发展人才”的理念,携手社区共同推进多样性算力支持改进,积极致力于 vLLM 优化,从而充分释放昇腾硬件的算力。

vLLM Ascend 是一个使用 Apache 2.0 协议的开源项目,我们诚邀每一位开发者加入我们,贡献你的智慧,一起探索和贡献更多创新功能。