如何在自己电脑上一键部署 AI 大模型
本文是 《生成式 AI 学习笔记》 的第八篇，也是 《生成式 AI 实践笔记》 的第一篇。
之前我们探讨了生成 AI 大模型的运行原理和应用场景。但怎么能光说不练呢，今天分享几个在自己电脑上运行大模型的方法，让我们练练手。
文末有已发布的系列文章的合集链接，欢迎各位点击浏览。
为什么要在本地部署大模型
近两年 AI 大模型的火热程度不用多说，提到国外的 ChatGPT、Claude、Gemini，国内的豆包、通义千问，还有最近大火的 DeepSeek，大家应该都不陌生。这些 AI 产品除了聊天，也都提供了 API，让我们可以调用它们的能力开发 AI 应用。不过这些产品虽然强大，但总归有些限制。那能不能部署一个自己专属的 AI 大模型呢？答案是肯定的。
部署自己的 AI 大模型的好处很多。首先，数据隐私和安全得到了保障，所有数据保存在本地，无需上传到云端。其次，只要算力足够，就不用担心额度和 token 的限制。另外，本地运行避免了网络延迟，极大地提升了开发和调试 AI 应用的便利性。
不仅如此，多家机构都有过预测，相较于云端的“大”模型，边缘侧和端侧的“小”模型将是 AI 技术的下一步发展方向。刚刚结束的 CES 2025 也证实了这一点，“今年的共识是端侧AI”。
有哪些本地部署工具
下面分享几个可以在本地一键部署 AI 大模型的工具。甚至在没有独立显卡的笔记本电脑上也能运行，亲测有效！
LM Studio 和 Ollama：这两款工具都提供了简单易用的一键部署功能，适合快速搭建和调试本地大模型。它们都支持运行一些规模相对较小的 AI 模型，即便是在普通的笔记本电脑上也能顺利部署，无需高性能服务器。
Open WebUI：这是一个用于搭建 Web 服务的工具，特别适合已经部署了 LM Studio 或 Ollama 的用户，它提供了一个方便的 Web 界面，让你通过浏览器与模型交互。
以上工具我在两台笔记本电脑上都测试通过，配置如下：
M3 Pro 版 Macbook Pro，18GB 统一内存，macOS 15；
普通 Windows 笔记本，11 代 Intel i5-1155G7，16GB 内存，Intel 集成显卡，Windows 10 专业版。
LM Studio
LM Studio 是一款功能全面的本地大模型运行工具，支持部署 Llama、Qwen、微软的 Phi 和 Google 的 Gemma 等主流大模型。2025 年 1 月初刚刚发布了 0.3.6 版。官方网站。
安装过程非常简单，就像安装一个普通应用程序一样，在官网下载适合自己系统的安装程序，按照引导完成安装。LM Studio 目前支持 Apple 芯片的 Mac，x86 和 Arm 芯片的 Windows，以及 x86 版本的 Linux。
LM Studio 从 huggingface.co 下载 AI 大模型文件。考虑到网络环境和下载速度，可以替换为国内的镜像源 hf-mirror.com 。
替换方法： 使用 VSCode 之类的工具打开 LM Studio 安装目录（Windows 系统可以在桌面图标点击右键，然后“打开文件所在的位置”，复制目录地址到 VSCode），在目录中搜索 huggingface.co ，全部替换为 hf-mirror.com ，保存修改。注意，修改前请关闭 LM Studio，修改完成后重新打开即可生效。
初次打开 LM Studio 时，它会引导你下载第一个模型。如果错过了也没关系，你可以在搜索页面自行寻找合适的模型下载即可。LM Studio 会检测你的电脑配置，提示该模型是否适合在你电脑上运行。初次使用建议下载 Llama 3.2 3B 模型 ，够小又够强，让你不用等很久就能开始体验本地大模型的威力。
可以在“聊天”页面直接对话，功能跟 ChatGPT、豆包之类的聊天 AI 产品一样。
也可以“开发者”页面启动 API 服务，用 API 调用 AI 大模型的能力。LM Studio 有可视化的界面来显示日志和调整模型参数，直观且方便。LM Studio 支持与 OpenAI 兼容的 API 格式，很多现有的开源 AI 应用可以不用修改就直接运行。
Ollama
Ollama 是另一款优秀的本地大模型部署工具，简洁高效，同样支持 Llama、Qwen 和 Gemma 等主流大模型，特别适合快速进行模型开发和调试。2025 年 1 月 11 日刚刚发布的了 0.5.5 版。官方网站
安装过程同样简单，你可以在官网下载安装程序，按照提示一步步完成安装。Ollama 支持 Mac、Linux 和 Windows 三大主流操作系统，其中 Linux 可以支持 x86 和 Arm 两种芯片架构。还支持 Docker 安装，方便部署和运维。
Ollama 没有可视化界面，使用命令行操作。目前实测国内网络环境可以高速下载大模型。下载完成后，你可以通过命令行与模型进行聊天交互，或者使用熟悉的工具和编程语言调用 API。
Ollama 的上下文窗口默认是 2K，如需修改上下文窗口长度，可以参考这个官方说明。一种是通过命令行设置上下文长度，另一种是在调用 API 时通过参数设置。对于不方便修改调用参数的应用，官方建议通过命令行修改已有模型参数并保存为新模型，然后调用这个新模型。但我实测下来没什么用，官方也没有更多说明。
Ollama 的日志保存在日志文件中（例如 Mac 中保存在~/.ollama/logs/server.log），可以通过文本查看工具或命令来查看。这些操作上确实没有 LM Studio 那么直观。
Open WebUI
Open WebUI 是一个可为本地大模型提供 Web 服务的工具，支持 LM Studio 和 Ollama。它提供了一个便捷的 Web 界面，让你可以通过浏览器与本地大模型进行交互。2025 年 1 月 5 日刚刚发布 0.5.4 版。官方网站 Github主页
Open WebUI 依赖 Python 环境，建议使用 Python 3.11，更新的版本目前不支持。建议使用 Conda 进行 Python 及其依赖库的多版本管理，Conda 和 Python 的安装不在本文探讨范围内。
已配置好 Python 3.11 环境后，通过以下命令安装 Open WebUI。建议使用国内镜像源，例如清华大学的镜像。
复制代码
安装完毕后，通过以下命令启动 Open WebUI。
复制代码
命令行显示以上内容表示服务已成功启动，可以通过浏览器访问 http://localhost:8080 来访问 Open WebUI 服务。
结语
以上就是在自己电脑上运行 AI 大模型的方法分享，欢迎大家留言讨论遇到的问题。想要了解 AI 大模型的运行原理和应用场景，可以点击下面的合集标签阅读更多文章。
《生成式 AI 学习笔记》系列文章
我将学习心得整理成《生成式 AI 学习笔记》系列文章发布，欢迎大家关注、点赞，与我一同成长。
也欢迎大家关注我的公众号 酱香饼不是葱油饼 ，获取更多技术交流与前沿资讯，期待与您在技术的世界里继续同行！
生成式 AI 运作原理系列
1. 生成式 AI 的基本操作：预测下一个 token（Next-token Prediction）
2. 真的不是靠猜吗？
3. 可以靠猜变得更聪明吗？
生成式 AI 企业级应用系列
4. 智能推荐
5. 知识管理
6. 编程助手
更多：市场分析，预测性维护
敬请期待
生成式 AI 实践笔记系列
7. 在自己电脑上运行 AI 大模型
【本文】如何在自己电脑上一键部署 AI 大模型
版权声明: 本文为 InfoQ 作者【JustYan】的原创文章。
原文链接:【http://xie.infoq.cn/article/8228520ec4e99faef1406ee04】。
本文遵守【CC BY-NC】协议，转载请保留原文出处及本版权声明。
还未添加个人签名 2014-11-08 加入
程序员，架构师，产品经理，公众号：酱香饼不是葱油饼
评论