AIBrix: 专为 vLLM 打造的可扩展、高性价比控制面

字节跳动开源

02-26

由字节跳动开发的vllm-project/aibrix项目正式发布。AIBrix是基于Kubernetes的推理系统项目，旨在提供可扩展且高性价比的vLLM控制平面。AIBrix自2024年初开始研发，已成功部署到字节跳动的多个业务场景，展示其在大规模部署中的可扩展性和高效性。