更上层楼！仅用 2GB 资源，让最火的 DeepSeek-R1 在本机上奔跑！
一夜之间，中国 AI 大模型 DeepSeek-R1 横扫硅谷，迅速引爆全球科技圈，英伟达 AI 科学家 Jim Fan 发文感叹：“一家非美国公司，正在让 OpenAI 的初衷支持——真正开放、为所有权赋”能的前沿研究”。是的，DeepSeek-R1 不仅性能媲美 OpenAI O1，更做到了完全开源。
DeepSeek-R1 模型的发布，让我们可以更好的使用开源大语言模型运行推理任务。现在，R1 模型可以通过 DeepSeek API 获得，那么我们可以将其集成到我们的工作流程中。更好的消息是，Ollama 在他们的库中添加了几个版本的 R1 模型，现在我们可以在本地使用 Ollama 运行 R1 模型。
现在你将可以实现一个命令建立你的本地知识库❗︎全程 3 分钟❗︎覆盖 2GB 内存❗︎消耗 GPU 运行❗︎安装即用❗︎快速使用❗︎
下面我们将使用具有「RAG 功能的完整文档管道」的 AI 搜索引擎开发框架 LeetTools，在本地运行 Ollama 的 R1 模型。由于我们使用 DuckDB 作为云端，整个流程可以轻松地安装在一台设备上 16GB RAM 且没有专用 GPU 的笔记本电脑中。
演示
📌安装 Ollama
1.按照以下说明操作https://github.com/ollama/ollama 安装 ollama 程序。
2. 加载 ollama 模型：
📌 安装 LeetTools
📌 使用一个命令创建您的本地知识库
通过一个命令行，我们可以使用 URL 中的 PDF 文件构建知识库。如果需要，您还可以添加更多 URL。
📌使用 R1 查询您的本地知识库
以下将使用 LLM 构建指南中的内容，使用 R1 模型回答问题。
📌 资源使用情况
这个过程最大的地方就是，整个管道只使用了大约 2GB 的内存，不需要特殊的 GPU 来运行：带有 RAG 服务的 LeetTools 文档管道使用了大约 350MB 的内存 R1 型号使用大约 1.6GB 的内存，嵌入式型号使用大约 370MB 的内存
连接数据，驱动未来 2020-08-17 加入
智领云专注于大数据、云计算领域的核心技术研发,为企业级客户提供云原生数据中台系统解决方案,快速实现数据价值,降本增效,助力企业数字化转型,在激烈的市场中获得竞争优势。
评论