博云 AI 一体机全面适配 DeepSeek 各尺寸模型

背景

25 年伊始，国产开源大模型 DeepSeek 的发布震动了全球的 AI 研发机构，其精度、性能、经济性均得到了行业内的高度评价，被认为是可推动 AI 场景落地的优良工具。

当前，随着大模型技术知识的普及推进，AI 技术和市场的发展已经进入到了行业场景的落地的阶段，各行业的研究者和领导都在关注和推进技术的落地应用。此时，精微之处见真章，AI 行业场景落地的关键，不在庙堂之高，而在草野之微也，只有给行业一线操作专家提供低技术门槛，方便使用的 AI 工具，才能落实 AI 在细节之处提升效率的意图，实现可衡量，可感知的提升。

博云 AI 一体机全系列支持 DeepSeek 模型

博云 AI 一体机本着降低业务人员使用 AI 的技术门槛，低成本快速部署 AI 生产力工具的理念，提供了单节点入门版、3 节点集群版和高可用精调训练版的选择，可选英伟达版本或昇腾、海光、天数智芯等国产算力加速卡，全系列支持 DeepSeek 模型。

核心价值

01 无需依赖云端，数据全程私有

专为对数据安全与隐私有严苛要求的企业打造，提供本地化部署的一站式 AI 解决方案，确保核心数据不出本地，满足金融、政务、医疗、制造、科研等高敏感行业需求！

02.全栈自主可控

- 支持英伟达和 6 种以上产 GPU，满足信创需求。

- 自研 GPU 池化组件支持算力切分、算力资源池化管理、高阶算力调度算法。

- 支持主流国产化 CPU 主机芯片（如鲲鹏、海光、飞腾）及麒麟、欧拉操作系统，无缝对接企业现有 IT 架构。

03.开箱即用，分钟级部署

AI 模型服务化管理，低技术门槛要求

- 预置 DeepSeek 最新大模型（支持 671B 到 1.5B 版本全尺寸），性能对标国际顶尖水平，中文理解与生成能力行业领先。

- 预置通义千问、chatGLM、StableDiffusion 等多种实用性多用途 AI 模型，应对多种场景，助力一线人员探索使用。

- 支持基于云原生的 AI 模型及智能体应用混合管理，服务化发布、服务暴露、状态监控功能，从芯片、AI 框架、AI 模型到应用层全链路管理，降低使用和运维中的 IT 技能要求。

- 支持全流程工具链：模型训练、微调、压缩、推理、监控一体化。

04.灵活扩展，按需定制方案

基础入门门槛低，灵活扩展，按需定制方案

- 支持从单机到集群化部署，最低单机单卡即可运行，算力可弹性扩容，通过灵活增加模型分布式运行实例，满足场景确定后的灵活扩容需求，保证模型 Tokens 输出能力满足用户团队需求。

- 可按需提供行业专属模型微调服务，以及知识库问答、论文检索 AIGC 整合输出、文本分类分级等体验场景，支持以 RAG 检索增强技术向 DeepSeek 投喂数据，快速利用私有数据定制本专业、本公司的 DeepSeek 定制化模型服务。

- 可按需提供与 office/WPS、IDE 工具的集成，方便使用。

DeepSeek 版本与一体机版本对应推荐表

说明：以上数据基于 fp16 精度，DeepSeek 深度思考功能打开进行估计。

内置博云 AIOS

AIOS 是博云专为 AI 应用推出的企业级一站式人工智能操作系统，屏蔽底层异构算力差异，面向 AI 大模型、生信、仿真渲染、气象、智能控制、图像视频处理等领域的分布式计算提供调度器管理，在网络、存储等基础能力方面增强高性能适配，为 AI 应用提供稳定、高效、可观测的部署与服务运行时管理能力。

同时 AIOS 提供轻量化多框架 AI 训推工具链平台，支持多种分布式 AI 深度学习框架，模型推理框架，IDE 工具，算法、模型仓库，以及模型量化和转化能力，覆盖数据标注、算法开发、模型训练、模型推理的全生命周期。

AIOS 可以帮助企业和开发者自主构建人工智能业务，助力企业保持行业领先能力。

强大的底层掌控能力

AIOS 的核心在于其强大的 ACE 算力引擎，支持高达 5000 个节点的稳定调度，以及异构 GPU 池化管理，确保了多租户算力的强隔离和全方位监控。

功能特性

覆盖深度学习业务全流程，加快模型从研发到上线速度。

深度学习训练任务通常包含多个阶段，从数据采集、算法开发、模型训练、超参调整、模型管理与部署等，AIOS 提供全流程支持。

快速部署计算环境并启动训练任务，提高研发效率

深度学习框架和模型众多，依赖各不相同，对开发环境的要求比较复杂， AIOS 可以实现资源和工作环境的隔离及快速部署。

支持数据集统一管理，提升数据标注效率

数据集种类众多，数据标注工具不一。AIOS 支持多种标注场景，覆盖文本、图片、音频和视频标注，支持人工标注、协同标注、智能标注等多种业务场景，极大提升数据标注效率。

支持多种建模方式，方便算法工程师快速构建复杂模型

支持交互式建模，内置 Jupyter、VScode 和 Pycharm 建模工具，方便算法工程师对代码进行调试；支持通过拖拉拽方式实现可视化建模，平台内置多种算法组件，极大降低建模门槛。

训练过程可视化，掌握训练进度及质量

深度学习模型训练周期较长，训练结束后才发现模型质量问题。借助 AIOS，可以实现对训练过程实时监控并可视化训练过程，实时观测损失函数值的日志、训练误差或测试误差等。

动态分配 GPU 资源，充分利用资源，提高资源利用率

支持 GPU 资源细颗粒度调度能力，最低可划分 1%资源。同时支持众多国产 GPU 算力。单一计算集群可以统一管理异构的多种 GPU 算力。

全面的集群监控管理，实时掌握 CPU/GPU 资源使用情况及运行状态

实时监控集群的使用情况，合理安排训练任务；及时发现运行中的问题，提高集群的可靠性。

方案优势概览