阿里云人工智能平台 PAI 论文入选 OSDI '24

阿里云大数据AI技术

07-11

近日，阿里云人工智能平台PAI的论文《Llumnix: Dynamic Scheduling for Large Language Model Serving》被OSDI '24录用。论文通过对大语言模型（LLM）推理请求的动态调度，大幅提升了推理服务质量和性价比。