GPU集群_GPU集群技术文章_InfoQ写作社区

全部标签 



写点什么

登录注册

GPU集群

0 人感兴趣 · 8 次引用

关注

最新
推荐

https://static001.geekbang.org/infoq/83/83c4937eade370b491d21efbbea16ed6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

忘掉 Ollama! 将 GPT OSS 私有部署推理性能提升 100 倍的部署教程

08-08

基于开源大模型服务平台 GPUStack 与自定义安装的 vLLM 版本完成 GPT OSS 系列模型的生产部署推理。并对比 Ollama 与 vLLM 在生产并发场景下的吞吐性能差异。

大模型 GPT GPU集群 vLLM

https://static001.geekbang.org/infoq/9a/9aa24474e27b466fb3caebaf06835f04.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

45 分钟从零搭建私有 MaaS 平台和生产级的 Qwen3 模型服务

04-29

在 45 分钟内搭建 GPUStack 模型服务平台并运行生产级的 Qwen3 模型服务。

大模型模型推理 Qwen GPU集群 Qwen3

https://static001.geekbang.org/infoq/66/666a46adf863d92947614f844f9dbbad.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

GPUStack v0.6 超重磅更新：vLLM 多机分布式、昇腾 MindIE、模型兼容性检测、模型故障自动恢复，上百项增强打造最好用的模型推理平台

04-28

打造业界最好用的模型推理平台。

人工智能大模型模型推理生成式AI GPU集群

https://static001.geekbang.org/infoq/3d/3daff46b529f4a97fa9b7a1b65daa4c2.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

GPUStack v0.5：模型 Catalog、图生图功能上线，多维优化全面提升产品能力与使用体验

04-28

开箱即用的模型推理体验。

人工智能大模型模型推理生成式AI GPU集群

https://static001.geekbang.org/infoq/af/af9026024d53583a2ed0938a1bf191ab.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

配置 NVIDIA Container Runtime 和容器运行 GPUStack 教程

2024-11-19

配置 NVIDIA 容器运行时环境并使用容器方式运行 GPUStack 的操作教程

Docker 容器大模型 LLM GPU集群

https://static001.geekbang.org/infoq/af/af9026024d53583a2ed0938a1bf191ab.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

配置 NVIDIA Container Runtime 和容器运行 GPUStack 教程

2024-11-19

配置 NVIDIA 容器运行时环境并使用容器方式运行 GPUStack 的操作教程

Docker 容器大模型 LLM GPU集群

https://static001.geekbang.org/infoq/06/0610afce026ff86b98f1af9f0f3c4d2f.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

GPUStack 0.2：开箱即用的分布式推理、CPU 推理和调度策略

2024-09-19

GPUStack 0.2 版本新增了单机多卡分布式推理、跨主机分布式推理、纯 CPU 推理、Binpack 和 Spread 放置策略以及指定 Worker 调度、手动指定 GPU 调度等核心特性。

AI 大模型生成式AI LLM GPU集群

https://static001.geekbang.org/infoq/06/0610afce026ff86b98f1af9f0f3c4d2f.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

GPUStack 0.2：开箱即用的分布式推理、CPU 推理和调度策略

2024-09-19

GPUStack 0.2 版本新增了单机多卡分布式推理、跨主机分布式推理、纯 CPU 推理、Binpack 和 Spread 放置策略以及指定 Worker 调度、手动指定 GPU 调度等核心特性。

AI 大模型生成式AI LLM GPU集群

1