昇腾携手 OpenMMLab，支持海量算法仓库的昇腾 AI 推理部署

本文分享自华为云社区《昇腾携手OpenMMLab，支持海量算法仓库的昇腾AI推理部署》，作者：昇腾 CANN 。

近日，昇腾 AI 联合浦江实验室，正式实现 OpenMMLab 算法仓库在昇腾的异构计算架构 CANN 上的推理部署，目前相关代码已推入 MMDeploy 0.10.0 版本，并在 GitHub 正式发布。

CANN 是专门面向 AI 场景的异构计算架构，同时作为昇腾 AI 基础软硬件平台的核心组成部分之一，搭起了从上层深度学习框架到底层 AI 硬件的桥梁，全面支持昇思 MindSpore、飞桨（PaddlePaddle）、PyTorch、TensorFlow、Caffe、计图（Jittor）等主流 AI 框架，提供 900 多种优选模型，能够覆盖众多典型场景应用，兼容多种底层硬件设备，提供强大异构计算能力。

OpenMMLab 是深度学习时代全球领域最全面、最具影响力的视觉算法开源项目之一，为学术和产业界提供一个可跨方向、结构精良、易复现的统一算法工具库。OpenMMLab 已经累计开源了超过 30 个算法库，涵盖分类、检测、分割、视频理解等众多研究领域，拥有超过 300 种算法、2,400 多个预训练模型。在 GitHub 上获得超过 70,000 个标星，同时吸引了超过 1,500 名社区开发者参与项目贡献，用户遍及超过 110 个国家和地区，覆盖全国全球顶尖高校、研究机构和企业。

MMDeploy 作为 OpenMMLab 旗下的推理部署工具，可将 OpenMMLab 算法在各种后端硬件上运行，并提供了简单易用的调用接口，在各高校拥有一批年轻的开发者。

CANN 具备灵活的框架适配度，也是昇腾高算力硬件的使能引擎，因此很自然地和 MMDeploy 走到了一起。CANN 不但扩充了 OpenMMLab 算法推理后端，使能开发者基于 MMDeploy 和 CANN 快速构建 AI 应用和业务，还能充分发挥昇腾 AI 硬件澎湃算力，加速推理业务的执行。

通过此次合作，将赋能开发者基于 MMDeploy 和 CANN 进行人工智能推理应用的高效开发、部署，也为双方后续的持续合作打下坚实的基础，促进更多业务场景的技术创新和生态共赢。

图片来源：MMDeploy GitHub 开源社区

我们可以从下图清晰地看到基于 MMDeploy 和 CANN 的推理部署框架。Model Converter 作为 MMDeploy 的模型转换模块，通过 onnx2cann 将前端模型转换为昇腾 AI 硬件支持的模型格式，然后送入 MMDeploy 的 Inference SDK 模块，调用 CANN 的 AscendCL 应用开发接口完成推理任务在昇腾 AI 硬件上的执行。

基于 MMDeploy+CANN 的推理部署框架

通过 MMDeploy 和 CANN 的对接适配，目前已验证包含 OpenMMLab 4 个算法库在内的 18 个流行的视觉算法可以直接在昇腾 AI 硬件上运行。

未来，随着 MMDeploy 和 CANN 合作的不断深入，双方将会从丰富算法库和高效推理层面持续创新和优化，促进昇腾 AI 和 OpenMMLab 的共同繁荣。同时，也欢迎大家在昇腾和 MMDeploy 的开源社区一起交流、探索和改进，以更完善的模型满足度、更高效的推理部署方式，使能更多人工智能场景，共同推进计算产业发展和生态构建！

点击关注，第一时间了解华为云新鲜技术~