vLLM优化_vLLM优化技术文章_InfoQ写作社区

全部标签 



写点什么

登录注册

vLLM优化

0 人感兴趣 · 2 次引用

关注

最新
推荐

https://static001.geekbang.org/infoq/fb/fb60cf4bde19d0d66f3807b68c8a1cb9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

解析 vLLM 架构及源码系列 - 整体架构

07-28

最近准备梳理一下vLLM推理框架的源码结构，网上也有不少的文章，但是并没有找到一个心仪的技术架构图。

vLLM vLLM优化 vLLM源码

https://static001.geekbang.org/infoq/95/957d39e9a074f892a7258fceb47a4164.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深度解析：通过 AIBrix 多节点部署 DeepSeek-R1 671B 模型

字节跳动开源

03-18

本文详细介绍了如何通过 AIBrix 分布式推理平台实现 DeepSeek-R1 671B 的多节点部署。AIBrix 通过自主研发的容器化编排技术，实现了：多节点 GPU 资源的智能分配分布式推理服务的无缝管理基于 RDMA 的高性能网络通信自动化弹性伸缩策略

AIBrix 分布式推理多节点部署 GPU调度 vLLM优化

1