TAG：BladeLLM 的纯异步推理架构

阿里云大数据AI技术

09-16

BladeLLM 设计并实现了基于 Python 的纯异步 LLM 推理架构 -- TAG (Totally Asynchronous Generator) ，以最大程度提高 GPU 利用率，提升引擎性能。