本地搭建 DeepSeek 和知识库 Dify 做智能体 Agent(推荐)
一、基础信息
1、硬件环境:
CPU >= 2 Core
显存/RAM ≥ 16 GiB(推荐)
2、软件
(1)Ollama
Ollama 是一款跨平台的大模型管理客户端(MacOS、Windows、Linux),旨在无缝部署大型语言模型 (LLM),例如 DeepSeek、Llama、Mistral 等。Ollama 提供大模型一键部署,所有使用数据均会保存在本地机器内,提供全方面的数据隐私和安全性。
(2)Dify
Dify 作为同样开源的 AI 应用开发平台,提供完整的私有化部署方案。通过将本地部署的 DeepSeek 服务无缝集成到 Dify 平台,企业可以在确保数据隐私的前提下,在本地服务器环境内构建功能强大的 AI 应用。
(3)docker
需要使用 docker 拉取镜像并运行,简化部署逻辑
二、部署 DeepSeek-R1
1、部署 Ollama
(1)打开官网
(2)下载对应系统的 Ollama

(3)安装

(4)验证--终端执行
ollama -v

2、使用 ollama 安装 DeepSeek-r1 模型
(1)ollama 安装 DeepSeek 模型


(2)安装后验证
安装完成,直接输入问题即可,可以看到回复信息

三、部署 Dify 社区版
1、下载代码
(1)git 方式下载
git clone https://github.com/langgenius/dify.git
(2)web 方式下载
打开链接:https://github.com/langgenius/dify.git

2、进入目录
cd dify/docker
3、复制配置文件
cp .env.example .env
4、docker 配置代理(已配置的话可以忽略该步骤)

5、使用 docker 拉取镜像并运行
docker compose up -d

四、设置 DeepSeek 接入至 Dify
1、浏览器打开 dify,初始化管理员信息

2、设置模型
右上角头像==》设置==》模型供应商==》Ollama


3、设置模型信息
模型名称:deepseek-r1:7b
基础 url:http://本机 ip:11434
最大 token:32768
注:容器部署 dify 的话:地址写 host.docker.internal 或本机 ip,不能用 127.0.0.1

4、创建知识库
通过拖拽文件上传,或者抓取网页内容方式获取数据

5、创建 Agent 智能体


文章转载自:黑水滴
评论