写点什么

本地搭建 DeepSeek 和知识库 Dify 做智能体 Agent(推荐)

  • 2025-02-11
    福建
  • 本文字数:1315 字

    阅读完需:约 4 分钟

一、基础信息


1、硬件环境:


CPU >= 2 Core

显存/RAM ≥ 16 GiB(推荐)


2、软件


(1)Ollama

Ollama 是一款跨平台的大模型管理客户端(MacOS、Windows、Linux),旨在无缝部署大型语言模型 (LLM),例如 DeepSeek、Llama、Mistral 等。Ollama 提供大模型一键部署,所有使用数据均会保存在本地机器内,提供全方面的数据隐私和安全性。


(2)Dify

Dify 作为同样开源的 AI 应用开发平台,提供完整的私有化部署方案。通过将本地部署的 DeepSeek 服务无缝集成到 Dify 平台,企业可以在确保数据隐私的前提下,在本地服务器环境内构建功能强大的 AI 应用。


(3)docker

需要使用 docker 拉取镜像并运行,简化部署逻辑


二、部署 DeepSeek-R1


1、部署 Ollama


(1)打开官网

https://ollama.com/


(2)下载对应系统的 Ollama



(3)安装



(4)验证--终端执行

ollama -v



2、使用 ollama 安装 DeepSeek-r1 模型


(1)ollama 安装 DeepSeek 模型


    ollama run deepseek-r1:7b
注:根据本机配置,选择合适的DeepSeek模型进行部署。本机推荐安装 7B 尺寸模型,大约需要拉取4.7GB数据,可以在ollama官网搜索模型,查看模型大小
复制代码




(2)安装后验证


安装完成,直接输入问题即可,可以看到回复信息



三、部署 Dify 社区版


1、下载代码


(1)git 方式下载

git clone https://github.com/langgenius/dify.git


(2)web 方式下载

打开链接:https://github.com/langgenius/dify.git



2、进入目录


cd dify/docker


3、复制配置文件


cp .env.example .env


4、docker 配置代理(已配置的话可以忽略该步骤)



内容如下:"registry-mirrors": [    "https://dockerpull.org",    "https://docker.1panel.dev",    "https://docker.foreverlink.love",    "https://docker.fxxk.dedyn.io",    "https://docker.xn--6oq72ry9d5zx.cn",    "https://docker.zhai.cm",    "https://docker.5z5f.com",    "https://a.ussh.net",    "https://docker.cloudlayer.icu",    "https://hub.littlediary.cn",    "https://hub.crdz.gq",    "https://docker.unsee.tech",    "https://docker.kejilion.pro",    "https://registry.dockermirror.com",    "https://hub.rat.dev",    "https://dhub.kubesre.xyz",    "https://docker.nastool.de",    "https://docker.udayun.com",    "https://docker.rainbond.cc",    "https://hub.geekery.cn",    "https://docker.1panelproxy.com",    "https://atomhub.openatom.cn",    "https://docker.m.daocloud.io",    "https://docker.1ms.run",    "https://docker.linkedbus.com"]
复制代码


5、使用 docker 拉取镜像并运行


docker compose up -d



四、设置 DeepSeek 接入至 Dify


1、浏览器打开 dify,初始化管理员信息

http://127.0.0.1



2、设置模型


右上角头像==》设置==》模型供应商==》Ollama




3、设置模型信息


模型名称:deepseek-r1:7b

基础 url:http://本机 ip:11434

最大 token:32768

注:容器部署 dify 的话:地址写 host.docker.internal 或本机 ip,不能用 127.0.0.1



4、创建知识库


通过拖拽文件上传,或者抓取网页内容方式获取数据



5、创建 Agent 智能体




文章转载自:黑水滴

原文链接:https://www.cnblogs.com/robots2/p/18707552

体验地址:http://www.jnpfsoft.com/?from=001YH

用户头像

还未添加个人签名 2023-06-19 加入

还未添加个人简介

评论

发布
暂无评论
本地搭建DeepSeek和知识库 Dify做智能体Agent(推荐)_人工智能_不在线第一只蜗牛_InfoQ写作社区