春节前夕,DeepSeek 新发布的 V3 基础大模型和 R1 推理大模型,引爆全球科技圈,国内外媒体和科技领袖对其赞誉有加。作为开源模型,DeepSeek-V3 和 DeepSeek-R1 效果比肩海外巨头的闭源模型,不仅以低至 1/10 的训练成本实现了与顶尖产品相媲美的性能,更在推理效率、场景适配等多个维度上树立了新的标杆。
DeepSeek-R1 小参数模型很容易被部署运行在家用消费级显卡和电脑设备上,但这种方式并不能全面发挥“国货之光”的真正威力;效果最好、功能最完整的 671b 全参数的 R1 模型,才是助力提升 AI 应用性能的真正大杀器。然而,深达 61 层,内存消耗高达 404GB,需要多张 24GB 或 80GB 以上规格的商用 GPU 搭建运行环境,让不少开发者和企业望而生畏,失去了真正“深度求索”的机会。
为此,七牛云已经集成了 DeepSeek-R1 671b 全参数模型,通过领先的 AI 能力,为客户提供灵活、便捷、高质量的推理解决方案。
Deepseek R1 不同参数规模模型规格差异:
单张 24GB 或 80GB GPU 能加载 DeepSeek-R1 模型的层数:
如何通过七牛云使用 DeepSeek-R1
作为一站式场景化智能音视频 APaaS 平台,七牛云深谙用户对灵活性和便捷性的差异需求。我们为您提供了两种部署方式:
1. 通过 API 访问
只需调用七牛云的公开或私有 API 接口,即可立即解锁 DeepSeek-R1,无需额外下载软件,无需进行复杂配置,直接从您的应用中触发。
API 接口调用示例:使用七牛云的 API 接口可以快速集成 DeepSeek 功能。支持模型:"deepseek-r1"和"deepseek-v3"。例如:
# 调用文本摘要API
export API_KEY="<你的 API KEY>"
# 获取 API Key 方式如下,AK通过登录七牛的控制台-密钥管理获得
# curl https://api.qnaigc.com/api/llmapikey -H "Authorization: <你的 AK>"
curl https://api.qnaigc.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $API_KEY" \
-d '{
"messages": [{"role": "user", "content": "七牛云提供 GPU 云产品能用于哪些场景?"}],
"model": "deepseek-v3"
}'
复制代码
【Python 代码示例】
OpenAI 格式请求(流式)
from openai import OpenAI
url = 'https://api.qnaigc.com/v1/'
api_key = 'your api_key'
client = OpenAI(
base_url=url,
api_key=api_key
)
# 发送带有流式输出的请求
content = ""
reasoning_content=""
messages = [
{"role": "user", "content": "七牛云提供 GPU 云产品能用于哪些场景?"}
]
response = client.chat.completions.create(
model="deepseek-v3",
messages=messages,
stream=True, # 启用流式输出
max_tokens=4096
)
# 逐步接收并处理响应
for chunk in response:
if chunk.choices[0].delta.content:
content += chunk.choices[0].delta.content
if chunk.choices[0].delta.reasoning_content:
reasoning_content += chunk.choices[0].delta.reasoning_content
# Round 2
messages.append({"role": "assistant", "content": content})
messages.append({'role': 'user', 'content': "继续"})
response = client.chat.completions.create(
model="deepseek-v3",
messages=messages,
stream=True
)
复制代码
OpenAI 格式请求(非流式)
from openai import OpenAI
url = 'https://api.qnaigc.com/v1/'
api_key = 'your api_key'
client = OpenAI(
base_url=url,
api_key=api_key
)
# 发送非流式输出的请求
messages = [
{"role": "user", "content": "七牛云提供 GPU 云产品能用于哪些场景?"}
]
response = client.chat.completions.create(
model="deepseek-v3",
messages=messages,
stream=False,
max_tokens=4096
)
content = response.choices[0].message.content
reasoning_content = response.choices[0].message.reasoning_content
# Round 2
messages.append({"role": "assistant", "content": content})
messages.append({'role': 'user', 'content': "继续"})
response = client.chat.completions.create(
model="deepseek-v3",
messages=messages,
stream=False
)
复制代码
2. 私有化和本地部署
如果您希望更深入地私有化集成 AI 功能,保护数据隐私,可以通过【七牛云商城】购买【专用云服务器】,将 DeepSeek-R1 部署到服务器上。这种方式特别适合有定制需求的客户,对模型进行训练、优化或扩展。
我们提供效果最完整和最具性价比的 1.73bit 量化 DeepSeek-R1 671b 全参版本供您部署使用:
1.73-bit 量化 671b 全参模型,显存需求大幅度降低至 158GB, 经我们测试验证,该模型在七牛云提供的 A100、V100、A10 等高性价比类型 GPU 服务器,均能实现快速推理,推理效率可达 7-8 token/s。
相对于 70B 及以下参数规模的蒸馏模型,671b 的全参模型激活的专家数更多,推理过程更精细,推理结果也更准确。
三步在线部署运行(小贴士)
STEP 1:从七牛云下载合并后的 DeepSeek-R1 量化模型(GGUF 文件)
wget https://algorithm.qnaigc.com/DeepSeek/DeepSeek-R1-UD-IQ1_M.gguf
复制代码
STEP 2:安装 ollama,并创建 Modelfile
# 2.1安装ollama
curl -fsSL https://ollama.com/install.sh | sh
# 2.2创建Modelfile描述文件
# 需要填写模型存放的路径
cat <<EOF > DeepSeekQ1_Modelfile
FROM ${PATH-TO-MODEL}/DeepSeek-R1-UD-IQ1_M.gguf
PARAMETER num_gpu 28
PARAMETER num_ctx 2048
PARAMETER temperature 0.6
TEMPLATE "<|User|>{{ .Prompt }}<|Assistant|>"
EOF
# 2.3创建 ollama 模型
# ollama会创建一个新模型,且大小与原始模型一样,如果/usr/路径下空间不足,
# 可以手动指定存储路径:vim /etc/systemd/system/ollama.service
Environment="OLLAMA_MODELS=/disk5/ollama/model"
# 2.4配置完成后需要重启ollama:
sudo systemctl daemon-reload
sudo systemctl restart ollama
/usr/local/bin/ollama create DeepSeek-R1-UD-IQ1_M -f ${PATH-TO-MODEL}/DeepSeekQ1_Modelfile
复制代码
STEP 3:运行模型
ollama run DeepSeek-R1-UD-IQ1_M --verbose
# 查看ollama日志:journalctl -u ollama --no-pager
# 或访问本地API
curl -X POST http://127.0.0.1:11434/api/generate -d '{"model":"DeepSeek-R1-UD-IQ1_M", "prompt": "helllo"}'
复制代码
推荐 GPU 主机
未来展望:AI 驱动的云服务新可能
DeepSeek-R1 的上线,是七牛云顺势而为,将创新 AI 能力与云服务进行有机结合的重要里程碑。七牛云将持续深耕 AI 工程化创新,与优秀企业通力协作,努力推动千行百业数智化场景应用落地。
这是一场技术与创新的旅程,七牛云将始终与您同行。
评论