写点什么

免费算力部署 ChatGLM3-6B 大语言模型

作者:打工人!
  • 2023-11-03
    江苏
  • 本文字数:722 字

    阅读完需:约 2 分钟

算力获得:

登录 | 趋动云 (virtaicloud.com) 新用户注册即可获得免费算力。

创建项目:

点击创建项目,即进入到项目创建界面,如下图:


选择镜像:

选择预训练模型:


都选择完之后,点击右下角的创建,代码选择暂不上传。一会会直接克隆代码。

接着点击运行代码。

资源配置:

资源配置选择:B1.large,


环境配置:

进入到环境配置界面后,点击”+“号,如下图:

点击 terminal,进入终端:

设置镜像源,克隆项目:

  • 首先在终端输入 tmux,进入一个新的会话窗口。使用 tmux 可以保持终端的稳定性

  • 升级 apt,安装 unzip:

apt-get update && apt-get install unzip

  • 设置镜像源,升级 pip

git config --global url."https://gitclone.com/".insteadof https://

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

python3 -m pip install --upgrade pip

  • 克隆项目,并进入到项目目录:

git clone https://github.com/THUDM/ChatGLM3.git

cd ChatGLM3/

  • 修改 requirements:

删掉 torch,因为镜像里面已经安装了。

  • 安装依赖:

(base) root@375240909991710720-taskrole1-0:/gemini/code/ChatGLM3# pip install -r requirements.txt

  • 修改代码,如下:


同时修改 web_demo.py 文件最下面一行代码:

demo.queue().launch(share=False, server_name="0.0.0.0", server_port=7000)

  • 添加端口号:

在该界面右侧,添加外部端口号:7000

运行代码:

运行 gradio 界面

  • 等待模型加载完毕,负责外部链接到浏览器,我这里用谷歌浏览器可以打开,有些浏览器打不开

看到如下界面,即可对话了:

运行 streamlit 界面:

首先,把 gradio 进程杀死,在终端界面,ctrl+c 即可。

终端会打印两个地址,在右边添加一个和终端上显示一样的端口号:

赋值外部链接到浏览器,模型才会开始加载:

模型加载完后,又可以愉快的玩耍了


发布于: 刚刚阅读数: 5
用户头像

打工人!

关注

智慧交通扫地僧 2019-11-10 加入

2021年InfoQ年度最佳内容获得者。 InfoQ签约作者 会点深度强化学习算法; 会点融合跟踪; 喜欢用手机拍拍拍;

评论

发布
暂无评论
免费算力部署ChatGLM3-6B大语言模型_大模型_打工人!_InfoQ写作社区