MindIE LLM 是 MindIE 解决方案下的大语言模型推理组件，基于昇腾硬件提供业界通用大模型推理能力，同时提供多并发请求的调度功能，支持 Continuous Batching、PageAttention、FlashDecoding 等加速特性，使能用户高性能推理需求。

MindIE LLM 主要提供大模型推理 Python API 和大模型调度 C++ API。

1 MindIE LLM 架构

MindIE LLM 总体架构分为三层：Modeling 和 Text Generator、LLM Manager。

1 Modeling

提供深度定制优化的模块和内置模型，支持 ATB Models 和 MindFormers 两种框架。

• 内置模块包括 Attention、Embedding、ColumnLinear、RowLinear、MLP，支持 Weight 在线 Tensor 切分加载。

• 内置模型使用内置模块进行组网拼接，支持 Tensor 切分与 PipeLine 切分，支持多种量化方式，用户亦可参照样例通过内置模块组网自定义模型。

• 组网后的模型经过编译优化后，会生成能在昇腾 NPU 设备上加速推理的可执行图。

2 Text Generator

负责模型配置、初始化、加载、自回归推理流程、后处理等，向 LLM Manager 提供统一的自回归推理接口，支持并行解码插件化运行。

3 LLM Manager

负责状态管理及任务调度，基于调度策略实现用户请求组 batch，统一内存池管理 kv 缓存，返回推理结果，提供状态监控接口。本层具体介绍及功能后续上线。

2 MindIE LLM 接口示意图

MindIE LLM Modeling 底层提供三种形式的模型后端（ATB Models、MindFormers 合 pytorch（开发中）），满足不同用户的使用需求。

术语/缩略语 含义

详细可参见：MindIE-LLM