vLLM源码_vLLM源码技术文章_InfoQ写作社区

全部标签 



写点什么

登录注册

vLLM源码

0 人感兴趣 · 2 次引用

关注

最新
推荐

https://static001.geekbang.org/infoq/b7/b7fa021d7e8e2c9ed3b447dd16d9e4b9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

解析 vLLM 架构及源码系列 - API Server

07-30

vLLM是一个推理框架，支持在线推理和离线推理，更多的时候，在线推理的需求更多。这篇文章分析一下vLLM 在进行API推理的时候，是如何进行数据流转的。

vLLM vLLM源码

https://static001.geekbang.org/infoq/fb/fb60cf4bde19d0d66f3807b68c8a1cb9.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

解析 vLLM 架构及源码系列 - 整体架构

07-28

最近准备梳理一下vLLM推理框架的源码结构，网上也有不少的文章，但是并没有找到一个心仪的技术架构图。

vLLM vLLM优化 vLLM源码

1