写点什么

Msty 一键搞定:让 Qwen3 带着知识库在你的电脑上奔跑

作者:JustYan
  • 2025-04-29
    江苏
  • 本文字数:2312 字

    阅读完需:约 8 分钟

Msty一键搞定:让Qwen3带着知识库在你的电脑上奔跑

北京时间 4 月 29 日凌晨,阿里发布了最新一代大模型 Qwen3。旗舰模型 Qwen3-235B-A22B 在代码、数学、通用能力等基准测试中,全面超越 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等顶级模型。Qwen官方公告

Qwen3 的两种思考模式

Qwen3 支持两种思考模式:


  • 思考模式:在这种模式下,模型会逐步推理,经过深思熟虑后给出最终答案。这种方法特别适合需要深入分析的复杂问题。

  • 非思考模式:在此模式中,模型提供快速、近乎即时的响应,适用于那些对速度要求高的简单问题。


这种灵活性让用户能够根据具体任务精确控制模型进行"思考"的程度。复杂的问题可以通过扩展推理步骤来解决,而简单的问题则可以直接快速作答,无需额外延迟。这些可以在使用中通过 enable_thinking 参数进行控制。对于 AI 应用开发者来说,这两种模式的结合大大提高了应用对算力的控制能力和资源利用效率。

Qwen3 模型家族

Qwen3 本次发布了 8 款模型,分别是:


  • MoE 架构: 全尺寸模型 Qwen3-235B-A22B 和基座模型 Qwen3-30B-A3B

  • Dense 架构: 6 款小模型,尺寸有 0.6B、1.7B、4B、8B、14B 和 32B


按照官方的说法,"像 Qwen3-4B 这样的小模型也能匹敌 Qwen2.5-72B-Instruct 的性能。"

本地部署 Qwen3 的简单方案

那么,如何在自己电脑上体验 Qwen3 呢?之前我们介绍过 Ollama、LM Studio 等本地部署 LLM 的工具(点击查看)。随着技术的发展,联网搜索、本地文件访问甚至本地知识库基本都成了 AI 应用的标配功能。


能否在自己电脑上,不用写代码,不用搞懂那些复杂的技术原理,就能用上这些 AI 功能呢?当然可以,今天我们介绍一位新朋友:Msty


使用 Msty 部署 Qwen3 的基本步骤非常简单:


  1. 下载安装 Msty

  2. 打开 Msty,根据提示选择 Qwen3 并下载

  3. 启动 Qwen3 本地对话,开启联网、本地知识库等功能


就这么简单!

Msty 入门指南

打开 Msty 官网 https://msty.app/ ,选择下载适合自己平台的版本。Msty 支持 Windows、Mac 和 Linux 三大操作系统,兼容 NVIDIA 和 AMD 显卡,也支持纯 CPU 模式运行,覆盖了绝大多数用户的硬件环境。


以上是官网展示的 App 界面全貌,可以看到功能相当丰富且直观。


下载安装完成后首次打开,Msty 会显示欢迎界面。左侧的"SETUP LOCAL AI"用于下载配置在本地运行的 AI 大模型,右侧的"ADD REMOTE MODELS PROVIDER"用于添加其他 AI 服务提供的 API,包括在线的 OpenAI、Claude、DeepSeek,也支持 LM Studio 等本地 AI 服务。值得一提的是,Msty 对 Ollama 有特别支持,如果你本地已经安装了 Ollama,可以点击下方的 Continue 完成一键配置。


Msty 也提供付费会员功能,但对于我们今天演示的场景来说,免费功能已经完全够用了。

Msty 设置


进入主界面后,点击 左下角的齿轮图标 可以进入设置页面。在这里可以调整显示语言、配置网络代理、管理本地模型和远端模型等关键设置。


除了通过设置界面管理本地 AI 模型外,还可以直接点击主界面左侧的 本地 AI 模型按钮(Local AI Models) 打开专门的管理界面。


如果在欢迎界面没有配置本地 AI 模型,本地 AI 服务默认是未启动状态。只需点击启动按钮,稍等片刻即可进入下一步配置。

部署 Qwen3 模型

进入本地 AI 模型配置界面后,会显示可下载的 AI 模型列表。Msty 会根据你电脑的配置,为每个模型提供相应的兼容性评分。绿色圆圈加上 100 分,表示该模型与你的电脑完全兼容。由于 Qwen3 刚刚发布,它直接显示在列表第一位。点击下载按钮即可开始下载。这里关闭下载界面不会影响下载过程,可以放心切换到其他操作。


下载完成后,回到主界面,在对话框左下侧选择刚下载的 Qwen3 模型。此时就可以开始与本地部署的 Qwen3 进行对话了。

启用联网搜索功能

对话框下端的 小地球图标 是搜索功能按钮,默认处于关闭状态,点击即可开启联网搜索能力。

你可以配置默认的搜索服务提供商。在 Mac 上,按住 Command 键点击搜索图标即可进入配置;其他平台的用户可根据界面提示操作。需要注意的是,在国内网络环境下,许多预设的搜索服务可能无法访问。两种解决方案:一是在设置界面配置个人代理服务,二是选择"Auto with Fallback"选项,让 App 自动选择可用的服务。选择完成后,记得点击选项框右侧的保存按钮确认设置

至此,你已经可以在自己电脑上体验最新的、具备联网能力的 Qwen3 了。

配置本地知识库(RAG)

点击主界面左侧的"Knowledge Stacks"按钮,可以开启本地知识库功能,也就是大家常说的 RAG(检索增强生成)。Msty 的本地知识库支持多种来源,包括文件、文件夹、Obsidian 知识库,甚至还支持 YouTube 内容,覆盖了大多数使用场景。

首次打开时,系统会要求选择 embedding 模型。简单来说,embedding 模型能将你的资料转化为大模型可用的向量数据。点击左侧的"USE LOCAL AI MODEL"选项,Msty 会自动下载一个兼容你电脑配置的 embedding 模型。当然,你也可以根据需要选择其他在线的 embedding 服务。

完成 embedding 模型配置后,进入创建知识库界面。为知识库起一个名字,然后点击添加按钮创建。

进入知识库管理界面后,可以看到 Msty 支持的资料类型非常丰富。在这个演示中,我添加了一份行业调研报告的 PDF 文件作为示例资料,然后点击右下角的"Compose"按钮开始处理。这个过程需要一些时间,Msty 会将文档内容转换为向量数据。

处理完成后,返回主界面即可开始使用你的本地知识库。

当你提问与知识库内容相关的问题时,可以看到 AI 的回答已经能够准确引用知识库里的内容,实现了基于私有数据的精准回答。

总结

Msty 为我们提供了一种简便的方式,让任何人都能在自己电脑上运行强大的 AI 大模型,同时轻松开启联网搜索、访问本地文件,以及创建私有知识库——所有这些都无需编写一行代码。


本文简单演示了如何下载运行最新的 Qwen3 模型,以及如何启用本地知识库功能。对于想要在保护隐私的同时享受先进 AI 功能的用户来说,Msty 无疑是一个值得尝试的工具。有兴趣的朋友们不妨立即动手体验,探索自己的专属 AI 吧!

发布于: 2025-04-29阅读数: 2
用户头像

JustYan

关注

还未添加个人签名 2014-11-08 加入

程序员,架构师,产品经理,公众号:酱香饼不是葱油饼

评论

发布
暂无评论
Msty一键搞定:让Qwen3带着知识库在你的电脑上奔跑_人工智能_JustYan_InfoQ写作社区