三步实现 BERT 模型迁移部署到昇腾

2023-09-21
广东
本文字数：1729 字
阅读完需：约 6 分钟

镜像构建

1. 基础镜像(由工具链小组统一给出 D310P 的基础镜像)

From xxx

2. 安装 mindspore 2.1.0，假定 whl 包和 tar 包已经下载到本地，下载地址：https://www.mindspore.cn/lite/docs/zh-CN/r2.0/use/downloads.html

ADD . /usr/local/RUN cd /usr/local && \    pip install mindspore_lite-2.1.0-cp37-cp37m-linux_x86_64.whl && \    tar -zxvf mindspore-lite-2.1.0-linux-x64.tar.gz && \    ln -s /usr/local/mindspore-lite-2.1.0-linux-x64 /usr/local/mindspore-lite

复制代码

3. 安装 cann 包 6.3.RC2 版本，假定也下载到本地，下载地址：https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373/software

RUN ./Ascend-cann-toolkit_6.3.RC2_linux-x86_64.run --install

复制代码

4. 安装 pip 依赖

RUN pip install --trusted-host https://repo.huaweicloud.com -i https://repo.huaweicloud.com/repository/pypi/simple onnx onnxruntime flask gunicorn

复制代码

5. 安装昇腾迁移工具 tailor，假定也下载到本地

RUN pip install tailor-0.2.1-py3-none-any.whl

复制代码

6. 生成镜像

docker build -t bert_poc_test:v1.0.0 .

容器部署

宿主机用户目录/home/xxx/下存放着若干文件：

/home/xxx--- model   --- model.onnx   --- model.mindir--- infer   --- run.sh   --- infer_server.py   --- mslite_model.py

复制代码

1. 运行容器

docker run -itd --privileged -p 50033:22 -p 8443:8443 -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /home/xxx:/home/xxx --name bert_d310p bert_poc_test:v1.0.0 /bin/bash

复制代码

参数说明：

-itd 设置交互守护运行容器，可以退出容器

-- privileged 设置特权容器，可以查看所有 npu 卡信息

-p 主机端口和容器端口映射

2. 进入容器

docker exec -it bert_d310p bash

进入容器内部，执行 npu-smi info 命令查看 npu 卡使用情况

3. 使用 tailor 工具转换并优化模型文件

tailor --model_path=/home/xxx/model/ model.onnx --input_shape=input_ids:1,70 --aoe=True

复制代码

执行成功后在/home/xxx/model/ output/model_fp16_aoe_xxx/convert 目录下会生成转换成功的 mindir 文件，然后将这个文件拷贝到/home/xxx/model 下

4. 修改 infer_server.py 指定模型文件路径, 这里给出例子

import osfrom flask import Flaskfrom mslite_model import MsliteModelimport numpy as np
app = Flask(__name__)os.environ['DEVICE_ID'] = "0"
model_path = "/home/xxx/model/model.mindir"input_data = np.random.randn(1,70).astype(np.int32)
model = MsliteModel(model_path)
@app.route('/', methods=['POST'])def infer():    print("receive request")    res = model([input_data])    return str(res)
if __name__ == '__main__':    app.run(debug=False, host="0.0.0.0", port=8443)

复制代码

5. 修改 run.sh 文件指定进程个数，这里给出例子

#! /bin/bashsource /usr/local/Ascend/ascend-toolkit/set_env.shhost_ip=$(hostname -i)service_port=8443listen_address="${host_ip}:${service_port}"worker_num=60worker_threads=5worker_timeout=120gunicorn -w ${worker_num} --threads ${worker_threads} -t ${worker_timeout} -b ${listen_address} infer_server:app

复制代码

6. 启动服务

sh run.sh

7. 外部调用请求

使用 curl：

curl -kv -X POST http://{宿主机 ip}:8443/