写点什么

DeepSeek-R1 671b 全参模型满血上线

作者:七牛云
  • 2025-02-07
    上海
  • 本文字数:2702 字

    阅读完需:约 9 分钟

春节前夕,DeepSeek 新发布的 V3 基础大模型和 R1 推理大模型,引爆全球科技圈,国内外媒体和科技领袖对其赞誉有加。作为开源模型,DeepSeek-V3 和 DeepSeek-R1 效果比肩海外巨头的闭源模型,不仅以低至 1/10 的训练成本实现了与顶尖产品相媲美的性能,更在推理效率、场景适配等多个维度上树立了新的标杆。


DeepSeek-R1 小参数模型很容易被部署运行在家用消费级显卡和电脑设备上,但这种方式并不能全面发挥“国货之光”的真正威力;效果最好、功能最完整的 671b 全参数的 R1 模型,才是助力提升 AI 应用性能的真正大杀器。然而,深达 61 层,内存消耗高达 404GB,需要多张 24GB 或 80GB 以上规格的商用 GPU 搭建运行环境,让不少开发者和企业望而生畏,失去了真正“深度求索”的机会。


为此,七牛云已经集成了 DeepSeek-R1 671b 全参数模型,通过领先的 AI 能力,为客户提供灵活、便捷、高质量的推理解决方案。


Deepseek R1 不同参数规模模型规格差异:


单张 24GB 或 80GB GPU 能加载 DeepSeek-R1 模型的层数:

如何通过七牛云使用 DeepSeek-R1

作为一站式场景化智能音视频 APaaS 平台,七牛云深谙用户对灵活性和便捷性的差异需求。我们为您提供了两种部署方式:


1. 通过 API 访问

只需调用七牛云的公开或私有 API 接口,即可立即解锁 DeepSeek-R1,无需额外下载软件,无需进行复杂配置,直接从您的应用中触发。

API 接口调用示例:使用七牛云的 API 接口可以快速集成 DeepSeek 功能。支持模型:"deepseek-r1"和"deepseek-v3"。例如:

# 调用文本摘要APIexport API_KEY="<你的 API KEY>"# 获取 API Key 方式如下,AK通过登录七牛的控制台-密钥管理获得# curl https://api.qnaigc.com/api/llmapikey -H "Authorization: <你的 AK>"curl https://api.qnaigc.com/v1/chat/completions \    -H "Content-Type: application/json" \    -H "Authorization: Bearer $API_KEY" \    -d '{        "messages": [{"role": "user", "content": "七牛云提供 GPU 云产品能用于哪些场景?"}],        "model": "deepseek-v3"    }'
复制代码


【Python 代码示例】

OpenAI 格式请求(流式)

from openai import OpenAI url = 'https://api.qnaigc.com/v1/'api_key = 'your api_key' client = OpenAI(    base_url=url,    api_key=api_key) # 发送带有流式输出的请求content = ""reasoning_content=""messages = [    {"role": "user", "content": "七牛云提供 GPU 云产品能用于哪些场景?"}]response = client.chat.completions.create(    model="deepseek-v3",    messages=messages,    stream=True,  # 启用流式输出    max_tokens=4096)# 逐步接收并处理响应for chunk in response:    if chunk.choices[0].delta.content:        content += chunk.choices[0].delta.content    if chunk.choices[0].delta.reasoning_content:        reasoning_content += chunk.choices[0].delta.reasoning_content # Round 2messages.append({"role": "assistant", "content": content})messages.append({'role': 'user', 'content': "继续"})response = client.chat.completions.create(    model="deepseek-v3",    messages=messages,    stream=True)
复制代码


OpenAI 格式请求(非流式)

from openai import OpenAIurl = 'https://api.qnaigc.com/v1/'api_key = 'your api_key' client = OpenAI(    base_url=url,    api_key=api_key) # 发送非流式输出的请求messages = [    {"role": "user", "content": "七牛云提供 GPU 云产品能用于哪些场景?"}]response = client.chat.completions.create(    model="deepseek-v3",    messages=messages,    stream=False,    max_tokens=4096)content = response.choices[0].message.contentreasoning_content = response.choices[0].message.reasoning_content # Round 2messages.append({"role": "assistant", "content": content})messages.append({'role': 'user', 'content': "继续"})response = client.chat.completions.create(    model="deepseek-v3",    messages=messages,    stream=False)
复制代码


2. 私有化和本地部署

如果您希望更深入地私有化集成 AI 功能,保护数据隐私,可以通过【七牛云商城】购买【专用云服务器】,将 DeepSeek-R1 部署到服务器上。这种方式特别适合有定制需求的客户,对模型进行训练、优化或扩展。


我们提供效果最完整和最具性价比的 1.73bit 量化 DeepSeek-R1 671b 全参版本供您部署使用:

  1. 1.73-bit 量化 671b 全参模型,显存需求大幅度降低至 158GB, 经我们测试验证,该模型在七牛云提供的 A100、V100、A10 等高性价比类型 GPU 服务器,均能实现快速推理,推理效率可达 7-8 token/s。

  2. 相对于 70B 及以下参数规模的蒸馏模型,671b 的全参模型激活的专家数更多,推理过程更精细,推理结果也更准确。


三步在线部署运行(小贴士)

STEP 1:从七牛云下载合并后的 DeepSeek-R1 量化模型(GGUF 文件)

wget https://algorithm.qnaigc.com/DeepSeek/DeepSeek-R1-UD-IQ1_M.gguf
复制代码


STEP 2:安装 ollama,并创建 Modelfile

# 2.1安装ollamacurl -fsSL https://ollama.com/install.sh | sh  # 2.2创建Modelfile描述文件# 需要填写模型存放的路径cat <<EOF > DeepSeekQ1_ModelfileFROM ${PATH-TO-MODEL}/DeepSeek-R1-UD-IQ1_M.ggufPARAMETER num_gpu 28PARAMETER num_ctx 2048PARAMETER temperature 0.6TEMPLATE "<|User|>{{ .Prompt }}<|Assistant|>"EOF # 2.3创建 ollama 模型# ollama会创建一个新模型,且大小与原始模型一样,如果/usr/路径下空间不足,# 可以手动指定存储路径:vim /etc/systemd/system/ollama.serviceEnvironment="OLLAMA_MODELS=/disk5/ollama/model"  # 2.4配置完成后需要重启ollama:sudo systemctl daemon-reloadsudo systemctl restart ollama
/usr/local/bin/ollama create DeepSeek-R1-UD-IQ1_M -f ${PATH-TO-MODEL}/DeepSeekQ1_Modelfile
复制代码


STEP 3:运行模型

ollama run DeepSeek-R1-UD-IQ1_M --verbose# 查看ollama日志:journalctl -u ollama --no-pager# 或访问本地APIcurl -X POST http://127.0.0.1:11434/api/generate -d '{"model":"DeepSeek-R1-UD-IQ1_M", "prompt": "helllo"}' 
复制代码


推荐 GPU 主机


未来展望:AI 驱动的云服务新可能

DeepSeek-R1 的上线,是七牛云顺势而为,将创新 AI 能力与云服务进行有机结合的重要里程碑。七牛云将持续深耕 AI 工程化创新,与优秀企业通力协作,努力推动千行百业数智化场景应用落地。


这是一场技术与创新的旅程,七牛云将始终与您同行。


用户头像

七牛云

关注

还未添加个人签名 2021-06-08 加入

还未添加个人简介

评论

发布
暂无评论
DeepSeek-R1 671b 全参模型满血上线_DeepSeek_七牛云_InfoQ写作社区