又一重要进展发布！OpenMMLab 算法仓支持昇腾 AI 训练加速

2023-01-16
中国香港
本文字数：1436 字
阅读完需：约 5 分钟

本文分享自华为云社区《又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速》，作者：昇腾 CANN 。

近日，上海人工智能实验室的浦视开源算法体系（OpenMMLab）团队基于昇腾 AI 发布了 MMDeploy 0.10.0 版本，该版本已支持 OpenMMLab 算法仓库在昇腾异构计算架构 CANN 上的推理部署。而在最新发布的 MMCV 1.7.0 和 MMEngine 0.3.0 版本中，OpenMMLab 基于昇腾 AI 软硬件底座完成了基础库（MMEngine、MMCV）及算法库（图像分类 MMClassification、目标检测 MMDetection）的适配，补齐了基于昇腾 AI 的训练加速能力。至此，OpenMMLab 算法仓[1]已完整打通基于昇腾 AI 的训练与推理流程，基于昇腾异构计算架构 CANN 的开发体系与加速技术栈，开发者不仅可以基于 OpenMMLab 算法仓库快速构建 AI 模型与应用，还能充分发挥昇腾 AI 处理器的澎湃算力，加速训练及推理业务的执行。

CANN 是专门面向 AI 场景的异构计算架构，同时作为昇腾 AI 基础软硬件平台的核心组成部分之一，搭起了从上层深度学习框架到底层 AI 硬件的桥梁，全面支持昇思 MindSpore、飞桨（PaddlePaddle）、PyTorch、TensorFlow、Caffe、计图（Jittor）等主流 AI 框架，提供 900 多种优选模型，能够覆盖众多典型场景应用，兼容多种底层硬件设备，提供强大的异构计算能力。

OpenMMLab 诞生于 2018 年，是深度学习时代计算机视觉领域最全面、最具影响力的开源算法体系。旨在为学术和产业界提供一个可跨方向、结构精良、跨站性强、易复现的统一算法工具库。目前，OpenMMLab 已经累计开源了超过 30 个算法库，涵盖分类、检测、分割、视频理解等众多研究领域，拥有超过 300 种算法、2,400 多个预训练模型。在 GitHub 上获得超过 73,000 个标星，同时吸引了超过 1,500 名社区开发者参与项目贡献，用户遍及超过 110 个国家和地区，覆盖全国全球顶尖高校、研究机构和企业。

昇腾 AI 和 OpenMMLab 开展深度合作，共同签署了 CCLA（Corporate Contributor License Agreement）协议，致力于长期全面支持 OpenMMLab 旗下基础仓和模型仓，共同促进更多业务场景的技术创新和生态共赢。

昇腾与 OpenMMLab 适配整体框架

上图展示了昇腾 AI 适配 OpenMMLab 的整体方案，其中，CANN 软件栈实现了算法库在昇腾 AI 处理器上的加速运行；框架和基础库的适配，完成了与 CANN 的对接，其中 torch_npu 插件支撑了 PyTorch[4]框架的运行，基础库中的 runner、ops 和 dist 等组件分别实现了基础运行类、自定义算子和通信协议对昇腾 AI 处理器的支持。CANN、框架和基础库的有机结合，支撑了基础库（MMCV）和算法库（MMClassification、MMDetection 等）在昇腾 AI 处理器的加速运行。

通过 OpenMMLab 与昇腾 CANN 的对接，目前已完成了 MMCV 算子仓 16+算子的适配，MMClassification 与 MMDetection 模型套件仓共 20+模型在昇腾硬件上的运行。

MMClassification 适配模型参考：

https://mmclassification.readthedocs.io/en/latest/device/npu.html

MMDetection 适配模型参考：

https://mmdetection.readthedocs.io/en/latest/device/npu.html

未来，随着昇腾 AI 和 OpenMMLab 合作的不断深入，双方将会从丰富算法库和更高性能的训练加速层面持续优化，促进昇腾 AI 和 OpenMMLab 的共同发展和繁荣。同时，也欢迎大家在昇腾社区和 OpenMMlab 的开源社区一起交流、探索和改进，共同推进计算产业发展和生态构建！