DeepSeek+AnythingLLM 打造自己大模型知识库

作者：快乐非自愿限量之名

2025-02-07
福建
本文字数：1484 字
阅读完需：约 5 分钟

1. 安装 Ollama

　　官方网站下载:https://ollama.com/，点击 download 进行下载。

为了避免安装在 C 盘占用空间，可以使用命令指定路径方式安装 Ollama，安装命令：OllamaSetup.exe /DIR=d:\Ollama，如下图：

直接安装就可以了，如下图：

配置下载模型保存路径，在电脑的环境变量中增加：OLLAMA_MODELS，设置保存模型路径：D:\Ollama\models。如下图：

2. 下载 DeepSeek 模型

　　建议使用“Windows PowerShell”终端，使用“命令提示符”运行 Ollama 命令可能会出现参数错误的提示。

　　DeepSeek-r1 模型：1.5b 约占用空间 1.1GB，7b 模型是 4.7GB，8b 模型是 4.9GB，14b 模型是 9.0GB，32b 是 20GB，70b 是 43GB，671b 是 404GB，根据自己磁盘空间进行选择，原则上数据越大，回答的问题就越全面。

　　我们选择下载 8b 模型，在 Windows PowerShell 终端运行命令：ollama run deepseek-r1:8b。如下图：

下载模型成功后，8b 模型保存在 D:\Ollama\models 目录中。如下图：

使用命令运行模型：ollama run deepseek-r1:8b。试一下提问：你是谁？使用效果如下图：

这样就算安装成功了。

3. 安装 AnythingLLM

　　安装一个交互界面的软件，可以把资料投喂给大模型，类似的交互界面很多，暂时使用 AnythingLLM，有其他好用的工具，网友留言反馈。

　　官方网站：https://anythingllm.com，下载软件，如图：

同样默认安装到 D 盘，如下图：

　　点击安装后，直接等待安装完成。根据网速情况，安装快慢不一样，会下载各种模型及相关文件。如下图：

有可能 all-minilm-l6-v2 模型下载失败，这是一个语义转换模型，如果缺失，使用 AnythingLLM 上传文档内容会失败。下载 all-minilm-l6-v2 模型，github 下载地址: https://github.com/user-attachments/files/18676036/Xenova.zip。

下载 Xenova 压缩包，解压到本机目录：C:\Users\WXZZ\AppData\Roaming\anythingllm-desktop\storage\models。如下图：

4. 基本应用

　　在桌面打开“AnythingLLM”应用程序，设置成中文，如下图：

　　新建一个工作区，单击“新工作区”，在 demo 工作区上单击设置图标，在“聊天设置”设置“工作区聊天模型”为：deepseek-r1:8b。如下图：

在 demo 聊天应用效果如下图：

5. 自定义知识库应用

　　在保持原有模型不变的情况下，提问：请规划一下稀土领域的生产管控系统的内容。deepseek 回答的内容明显比较吃力，如下图：

　　有些用户或是专家在项目建设中提出来要提炼工艺库、模型库、算法库等知识库，可以试着让 deepseek 成为每个角色的助手，例如工艺的、信息化的、设备的、电气的等角色，让 deepseek 成为自己，再不断的迭代它。deepseek 扮演 AI 助手的角色，应用越来越发挥出来应有的价值

　　将自己的资料投喂给 deepseek 模型，在 demo 工作区上单击上传文件按钮，如下图：

我把“稀土领域生产一体化管控系统案例.docx（基于 iNeuOS 工业互联网平台）”是上传投喂给 deepseek 模型，上传成功后，选择相应的文件，单击“Move to Workspace”按钮移动到 demo 工作区；然后单击“Save and Embed”按钮，这个过程会调用 all-minilm-l6-v2 模型，根据文档内容的大小处理过程耗时不一样；保存成功后，在文件后面的按钮钉起来后会变成黑色，就证明选择这个文件。如下图：