写点什么

通过 LLMOps 部署 DeepSeek R1,加速企业级 AI 应用构建

作者:星环科技
  • 2025-02-10
    上海
  • 本文字数:945 字

    阅读完需:约 3 分钟

通过LLMOps部署DeepSeek R1,加速企业级AI应用构建

星环科技 Sophon LLMOps 支持 DeepSeek R1 全参版本以及蒸馏版本。Sophon LLMOps 是一款企业级的大模型运营管理平台,支持大/小模型的统一管理、开源及商业化大模型统一纳管、底层国内外 GPU/NPU(ARM/x86)异构算力的混合部署、资源精细化切分及调度、模型及应用效果评估、全局状态监控及预警。

 

企业既可以直接访星环科技云服务(网址:llmops.wuya-ai.com),基于满血 DeepSeek 671B(fp8)R1 的训练、推理、应用开发;也能够在私有化环境里快速使用 R1 模型进行具备深度思考的服务及应用开发,能够利用 DeepSeek R1 实现知识库和工具调用,并快速部署至企业内部,加速基于大模型的企业级应用快速落地。

 

本篇将聚焦如何基于 LLMOps 部署 DeepSeek R1。

1、 DeepSeek R1 权重文件下载

进入 Sophon LLMOps 模型管理模块,选择新建模型-创建版本,支持从 Huggingface 一键拉取对应的模型文件到平台。


下载完成后可在模型详情预览模型基本信息:



2、DeepSeek R1 部署资源预估

提前预估部署该模型所需要的硬件资源,根据推荐资源进行部署。


3、部署 DeepSeek R1

进入模型部署页面,在模型版本列表点击去部署:



根据推荐的资源选择合适的部署节点,一键部署。



4、 DeepSeek R1 模型体验和调用

进入模型体验中心进行体验测试,或直接点击调用示例,使用 API 进行远程使用。

 

DeepSeek R1 单词的字母计数示例:


DeepSeek R1 找不同示例:



支持发布基于 DeepSeek R1 模型的应用 API,给业务方调用,同时,也可以直接在平台的应用体验进行使用。




5、 基于 Deepseek R1 模型的智能金融应用

 

目前,基于 Deepseek R1 的模型可用于如监管科技与合规管理、智能投研与策略支持、市场分析与决策辅助、系统化风险管理、投资者服务智能化、智能运营与流程再造等智能金融场景,为客户构建债券业务助手、投资教育助手、文档审核助手、衍生品分析平台等 AI 智能体及智能分析平台。

 

以金融法律法规问答应用为例:



此外,Sophon LLMOps 支持在智能体应用开发时进行多模型效果对比,可快速比较不同模型的上线效果,便于用户判断在不同的业务场景当中选择合适的基础模型。基于 DeepSeek R1 的缜密的思考能力,可以看到在相同知识库相同问题下,基于 R1 模型的回答效果更为全面。



如需申请试用 LLMops 云服务,可直接联系客户经理,或发送邮件至 mkt@transwarp.io。

用户头像

星环科技

关注

还未添加个人签名 2020-10-22 加入

领航大数据与人工智能基础软件新纪元

评论

发布
暂无评论
通过LLMOps部署DeepSeek R1,加速企业级AI应用构建_部署_星环科技_InfoQ写作社区