写点什么

飞桨 x 昇腾生态适配方案:02_ 常用环境变量

作者:小顺637
  • 2025-05-12
    北京
  • 本文字数:722 字

    阅读完需:约 2 分钟

训练常用环境变量

本节介绍的环境变量建议在训练前提前设置好。

NPU 私有格式

0 为关闭,建议关闭:


export FLAGS_npu_storage_format=0
复制代码

NPU 在线编译

false 为关闭,建议小模型关闭,大模型打开:


export FLAGS_npu_jit_compile=false
复制代码

aclnn_scale

在大模型场景设置 False 性能更好,小模型场景设置 True 性能更好:


export FLAGS_npu_scale_aclnn=True
复制代码

aclnn_split

在大模型场景设置 False 性能更好,小模型场景设置 True 性能更好:


export FLAGS_npu_split_aclnn=True
复制代码

npu 算子加黑名单

npu 算子加黑名单跑 cpu,禁用 NPU 算子名单,可用来暂时规避精度问题,或者确认问题算子(set_value 为算子名称):


export CUSTOM_DEVICE_BLACK_LIST=“set_value”
复制代码

指定 NPU 卡号

export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
复制代码

Paddle view 机制

当前在 NPU 部分模型上性能较差,0 为关闭,建议关闭:


export FLAGS_use_stride_kernel=0
复制代码

Paddle 内存分配方式

默认为最大值申请,可能在个别模型上引入内存问题,建议使用 auto_growth 随使用申请


export FLAGS_allocator_strategy_kernel=auto_growth
复制代码

kernel 缓存大小

设置 kernel 缓存大小,以防止模型训练后期性能衰减


export ASCEND_MAX_OP_CACHE_SIZE=5000
复制代码

CANN 日志环境变量

设置日志打屏

1 为打屏,可开启后将日志重定向到.log 文件中


export ASCEND_SLOG_PRINT_TO_STDOUT=1
复制代码

设置日志等级

0 为 INFO 级,所有的日志均输出,3 为 ERROR 级


export ASCEND_GLOBAL_LOG_LEVEL=0
复制代码

Paddle 日志环境变量

Paddle 的 glog 等级中,0 为无日志,10 为全开日志,一般开启到 3 即可


export GLOG_v=3
复制代码


开启 glog 后重定向.log 文件需要在语句最后加入 2>&1 命令,例如:


python tools/train.py -c PP-OCRv4_server_rec_ic15_data.yaml -oGlobal.use_gpu=False Global.use_npu=True > ocr.log 2>&1
复制代码


用户头像

小顺637

关注

还未添加个人签名 2023-01-19 加入

还未添加个人简介

评论

发布
暂无评论
飞桨x昇腾生态适配方案:02_常用环境变量_飞桨_小顺637_InfoQ写作社区