如何在百度百舸部署满血版 DeepSeek-V3、DeepSeek-R1 模型
百度百舸·AI 异构计算平台已支持快速部署 DeepSeek-V3、DeepSeek-R1 及其蒸馏的 Llama、Qwen 等小规模 dense 模型。您可以登录百度百舸平台快速部署 DeepSeek 系列模型体验模型效果。
01 开通轻量计算实例
开通一台 H20（ebc.lgn7t.c208m2048.8h20.4d）规格的计算实例并添加到百度百舸·AI 异构计算平台。
02 部署 vLLM
在百度百舸平台的左侧导航中选择「工具市场」页面，部署工具 vLLM。
03 模型推理
vLLM 部署成功，登录实例下载模型并启动 vLLM 服务，安装 WebUl 客户端。
发送请求开始对话。
04 各系列模型的推荐配置清单
在完成满血版 DeepSeek 模型的快速部署后，百度百舸·AI 异构计算平台还能为这些在线服务提供全生命周期管理、自研框架推理加速、推理资源碎片整理等能力。在保障服务稳定性的同时，有效降低推理成本并提升推理性能。
访问百度百舸页面https://cloud.baidu.com/product/aihc.html，感受服务稳定性与成本效益的双重提升！
————END————
推荐阅读
首日调用客户破1.5万！DeepSeek-V3/R1上线背后的超低推理成本技术揭秘
唤醒 AI 算力，专有云 ABC Stack 面向企业级智算平台的 GPU 提效实践
百度官方技术账号 2021-01-22 加入
关注我们，带你了解更多百度技术干货。
评论