高性能推理_高性能推理技术文章_InfoQ写作社区

全部标签 



写点什么

登录注册

高性能推理

0 人感兴趣 · 3 次引用

关注

最新
推荐

vLLM、SGLang 融资背后，AI 推理正在走向系统化与治理

02-03

最近，推理引擎领域出现了两件具有标志意义的事件：vLLM 和 SGLang 相继走向公司化。vLLM 核心团队成立 Inferact，完成 1.5 亿美元融资，估值达 8 亿美元：

LLM 大模型推理 vLLM Sglang 高性能推理

https://static001.geekbang.org/infoq/07/0751b964e28f36f1c4887e5d82c25dee.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

GPUStack v2：推理加速释放算力潜能，开源重塑大模型推理下半场

2025-11-26

在大模型推理的下半场，GPUStack v2 不再是简单的模型服务平台，而是高性能推理生态的协调者与赋能者。

大模型推理 GPU集群 vLLM Sglang 高性能推理

https://static001.geekbang.org/infoq/07/0751b964e28f36f1c4887e5d82c25dee.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

GPUStack v2：推理加速释放算力潜能，开源重塑大模型推理下半场

2025-11-25

在大模型推理的下半场，GPUStack v2 不再是简单的模型服务平台，而是高性能推理生态的协调者与赋能者。

大模型大模型推理 vLLM Sglang 高性能推理

1