写点什么

再上层楼,让 DeepSeek-R1 在 16G 内存,无 GPU 的 Windows 笔记本上本地运行!

作者:智领云科技
  • 2025-02-12
    河北
  • 本文字数:910 字

    阅读完需:约 3 分钟

再上层楼,让DeepSeek-R1在16G内存,无GPU的Windows笔记本上本地运行!

16G 内存笔记本也能跑 ChatGPT❗︎

Ollama+DeepSeek-R1+LeetTools=简化版 ChatGPT❗︎手把手教程来了❗︎


在一台普通 Windows 笔记本上,没有 GPU 显卡,通过使用 Ollama、DeepSeek 和 LeetTools 搭建一个本地的问答以及文章编写平台。本文不再具体介绍上述三个工具、模型的功能,有兴趣的可以从 Github 上看相应的源码以及 ReadMe。前文我们也详细介绍过 Ollama 与 LeetTools 的安装教程


Ollama:https://github.com/ollama/ollama

LeetTools:https://github.com/leettools-dev/leettools


演示

📌 工具环境准备

按照安装 Vscode,安装 Anaconda3

在 Anaconda3 中创建一个新的 Python 环境(python 版本选择 3.11),例如:命名为 leettools。



在 Vscode 中将 Python 解释环境选择为在 Anaconda3 中创建的 leettools 环境。



从 Vscode 中拉取 Ollama 源码以及 Leettools 源码



打开 Ollama 的 Readme,点击其中 windows 下载的链接,下载适合 Ollama 的 exe 文件



在机器上执行 Ollama.exe 进行 Ollama 的安装。执行完成后,退出 Vscode,并重新打开 Vscode。


📌 本机执行 Answer 问答


在 Terminal 中执行:

ollama serve
复制代码



再新建一个 Terminal,其中执行:


ollama pull deepseek-r1:1.5b
复制代码



继续执行:

ollama pull nomic-embed-text
复制代码



执行以下几条命令:

set "LEET_HOME=/Users/myhome/leettools" set EDS_DEFAULT_LLM_BASE_URL=https://api.deepseek.com/v1set EDS_LLM_API_KEY=sk-mykeyset EDS_DEFAULT_INFERENCE_MODEL=deepseek-chatset EDS_DEFAULT_EMBEDDING_BASE_URL=http://localhost:11434/v1set EDS_EMBEDDING_API_KEY=dummy-keyset EDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5bset EDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-textset EDS_EMBEDDING_MODEL_DIMENSION=76
复制代码

注意:需要把第一条命令中的 myhome 替换成你自己的目录,第三条命令的 mykey 替换成你自己的 DeepSeek API key


通过 leet 命令来执行,使用 answer 这个 flow 进行一个问题的问答。命令为:

leet flow -t answer -q "How does the FineTune process Work?" -k llmbook -l info
复制代码



产生的最后结果是用 md 格式输出的(因为没有指定输出格式,就是用了默认格式以及默认风格),输出的首先是 R1 的 think 的推理说明部分




下面输出的是问答结果部分



有兴趣的可以试试其它的 flow 类型,看看源码。

用户头像

连接数据,驱动未来 2020-08-17 加入

智领云专注于大数据、云计算领域的核心技术研发,为企业级客户提供云原生数据中台系统解决方案,快速实现数据价值,降本增效,助力企业数字化转型,在激烈的市场中获得竞争优势。

评论

发布
暂无评论
再上层楼,让DeepSeek-R1在16G内存,无GPU的Windows笔记本上本地运行!_教程_智领云科技_InfoQ写作社区