免费算力部署 ChatGLM3-6B 大语言模型
算力获得:
登录 | 趋动云 (virtaicloud.com) 新用户注册即可获得免费算力。
创建项目:
点击创建项目,即进入到项目创建界面,如下图:

选择镜像:

选择预训练模型:

都选择完之后,点击右下角的创建,代码选择暂不上传。一会会直接克隆代码。
接着点击运行代码。
资源配置:
资源配置选择:B1.large,


环境配置:
进入到环境配置界面后,点击”+“号,如下图:

点击 terminal,进入终端:

设置镜像源,克隆项目:
首先在终端输入 tmux,进入一个新的会话窗口。使用 tmux 可以保持终端的稳定性
升级 apt,安装 unzip:
apt-get update && apt-get install unzip
设置镜像源,升级 pip
git config --global url."https://gitclone.com/".insteadof https://
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
python3 -m pip install --upgrade pip
克隆项目,并进入到项目目录:
git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3/
修改 requirements:
删掉 torch,因为镜像里面已经安装了。

安装依赖:
(base) root@375240909991710720-taskrole1-0:/gemini/code/ChatGLM3# pip install -r requirements.txt
修改代码,如下:


同时修改 web_demo.py 文件最下面一行代码:
demo.queue().launch(share=False, server_name="0.0.0.0", server_port=7000)

添加端口号:
在该界面右侧,添加外部端口号:7000

运行代码:
运行 gradio 界面

等待模型加载完毕,负责外部链接到浏览器,我这里用谷歌浏览器可以打开,有些浏览器打不开

看到如下界面,即可对话了:

运行 streamlit 界面:
首先,把 gradio 进程杀死,在终端界面,ctrl+c 即可。

终端会打印两个地址,在右边添加一个和终端上显示一样的端口号:

赋值外部链接到浏览器,模型才会开始加载:

模型加载完后,又可以愉快的玩耍了

版权声明: 本文为 InfoQ 作者【打工人!】的原创文章。
原文链接:【http://xie.infoq.cn/article/738f2538e4ee58c02e6e80732】。文章转载请联系作者。
评论