写点什么

【MindStudio 训练营第一季】MindStudio 专家系统随笔

作者:Angel Wings
  • 2022-12-05
    天津
  • 本文字数:706 字

    阅读完需:约 2 分钟

简介

专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优 Top 问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型 &算子瓶颈分析和优化推荐知识库、针对 onnx 模型的自动调优知识库,以及基于生态开发者开发的生态知识库。



使用介绍

调优知识库



模型瓶颈分析

分析流程:

  • 参数配置 & 启动分析;

  • 首页 summary 报告: 模型香吐率运行时间、芯片利用率、切分策略评估,以及各个调优知识库 TOP 问题;

  • 计算图分析: ub 融合、aipp 融合、transdata 等;

  • 模型算子性能瓶颈分析:模型算子带宽 &算力利用率;

  • aicpu & aicore 并行分析;



模型性能优化

针对 onnx 推理模型,根据定义好的子图 pattern 主动识别 onnx 模型中符合的子图,并对其进行修改优化:

当前支持的子图 pattern:

  • Conv1d 优化:

  • 连续 slice 合并

  • 连续 concat 合并

  • 类型转换

  • 大 shape 卷积转置

  • 大 kernel 卷积拆分

根据官方介绍,后续还会根据调优场景继续补充,让更多开发者直接受益。

调用知识库开发

  1. 基于 Ascend Advisor 工程,开发者可以开发自己的调优知识库

  2. 支持代码调试(该功能在新版本会提供)

  3. 支持知识库共享(该功能在新版本会提供)



案例实践

推理模型调优

  1. 性能分析: Mobilenetv3 图像分类

https://www.hiascend.com/zh/software/modelzoo/models/detail/1/a2951ef07c40424a9b0e39237466e383/1

  1. 性能分析 &优化: Deit 图像分类

https://www.hiascend.com/zh/software/modelzoo/models/detail/1/a475d4f47de642f19c0a1f81580633ae/1

  1. 性能分析 &优化: tdnn 语音识别

https://www.hiascend.com/zh/software/modelzoo/models/detail/1/f4f4103245624c1a8637f8a5eadd950c/1

Mobilenetv3 图像分类



Deit 图像分类



发布于: 刚刚阅读数: 4
用户头像

Angel Wings

关注

还未添加个人签名 2020-03-18 加入

还未添加个人简介

评论

发布
暂无评论
【MindStudio训练营第一季】MindStudio 专家系统随笔_mindspore_Angel Wings_InfoQ写作社区