本机部署 langchain+chatGLM 本地知识库

基础准备

Anaconda：Free Download | Anaconda

Git: Git - Downloads (git-scm.com)

Github 地址：https://github.com/imClumsyPanda/langchain-ChatGLM

虚拟环境创建

如果你的 anaconda 之前没有修改过虚拟环境的默认安装路径，强烈建议你修改一下，因为模型会下载很多，非常占用 C 盘空间

修改 anaconda 虚拟环境保存路径

1. 查看 conda 信息

conda info

我们先新添加一个保存 env 的目录，空间最好大一些的,提前创建好文件夹，比如我这里叫做 CondaEnv 保存在 E 盘根目录

conda config --add envs_dirs E:\CondaEnv

修改后如下

由于项目依赖的是 python3.10 的环境，因此我们创建虚拟机环境时要指定 Python 版本

conda create -n LC python=3.10.11 -y

完成后如下图所示

我们可以查看一下我们的虚拟环境是否创建在了我们希望它保存的位置

可以看到已经保存在了 E 盘而不是我们的 C 盘。

激活虚拟环境

conda activate LC

安装 PyTorch

按照官网的提示进行安装即可。

官网：PyTorch

克隆项目到本地

项目地址：https://github.com/imClumsyPanda/langchain-ChatGLM

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

安装项目依赖文件

cd langchain-ChatGLMpip install -r requirements.txt

启动 WebUI 体验一下

python webui.py

第一次启动时候会下载一些模型

看到如上画面，表示服务已经启动，我们在浏览器中输入这个网站即可看到如下画面

这里的 0.0.0.0 要换成 localhost 或者 127.0.0.1

常见问题：

1. No matching distribution found for langchain==0.0.174

国内镜像还没有同步，因此可以选择用官方镜像

pip install langchain==0.0.174 -i https://pypi.org/simple

也可也使用华为的镜像源，相对更新速度快一些

https://mirrors.huaweicloud.com/repository/pypi/simple

2. 爆内存

启动后显示内存不足，如果你的本地显卡内存不够的话，建议修改为 int4 的版本

打卡 configs/model_config.py 文件，将 93 行的代码改为下面的

LLM_MODEL = "chatglm-6b-int4"

3. 报错

看到如下报错的画面

可以尝试关闭代理后再重启 webui 即可