来了！昇腾 MindStudio 全流程工具链分论坛精彩回顾，助力高效开发和迁移效率提升

2023-05-11
浙江
本文字数：3072 字
阅读完需：约 10 分钟

新一轮科技革命和产业变革正在重构全球创新版图、重塑全球经济结构。作为新一轮产业变革的核心驱动力量,人工智能技术已逐步从学术界走入产业界,正与千行百业进行深度融合,促推新技术、新产品、新产业、新业态、新模式诞生,潜移默化地影响着人们的生活和未来。

2023 年 5 月 6 日-7 日,“创未来,享非凡——昇腾 AI 开发者峰会 2023”活动如期举行,各位开发者齐聚松山湖,共襄开发者盛举。在 7 日的昇腾 MindStudio 全流程工具链分论坛上,就如何提升开发者训练、推理的迁移开发效率进行了深度解析。基于全新开发套件和全流程工具链降低 AI 应用开发门槛,加速昇腾开发效率。

打磨 AI 根技术,夯实算力底座

在数字经济加速发展的大趋势下,华为持续聚焦根技术创新,坚持“硬件开放、软件开源、使能伙伴、发展人才”战略,以昇腾 AI 构筑智能根基,携手产业伙伴,构建计算产业生态,夯实算力底座,加速行业数智化转型,支撑数字经济高质量发展。

会上,昇腾计算副总裁、产品部部长周斌表示自去年 11 月 30 日 ChatGPT 发布后,掀起了 AI 新的一波热潮,业界普遍认为 AI 具有一定的通用能力,能解决我们产业里非常多的问题,AI 将更深入地融入我们各个行业,实现规模化应用。华为将昇腾 AI 基础软硬件平台开放给整个产业,和伙伴们一起,携手各行各业把握新机遇,持续推动产业升级,发展 AI 生态。

周斌对相聚在昇腾开发者峰会活动现场的开发者朋友们致以诚挚的欢迎,表示开发者是保持产业持续活力和增长的基础,是昇腾 AI 生态的重要贡献力量,昇腾计算会持续围绕开发者,不断提升开发效率和开发体验,和各位开发者一起成长、协作、共生,一起携手,抓住机遇,共创 AI 新生态。

1683771141144431.jpeg

昇腾计算副总裁、产品部部长周斌

极简开发,扫除 AI 开发的重重障碍

开发者基于昇腾进行 AI 模型或应用的开发,会关心昇腾 AI 的开发效率,或者从其它平台转到昇腾 AI 上的迁移效率,周斌对开发者关心的开发和迁移效率问题进行了分析,对昇腾工具链 MindStudio 和应用使能 MindX 新发布的技术点进行了解读:

针对训练业务的开发或迁移,昇腾工具链会和训练框架结合,提供端到端的训练脚本迁移工具。针对大规模集群训练中的调试调优,工具链将构筑多机多卡的精度调试,以及大规模集群的性能调优能力。

针对推理应用的开发或迁移,昇腾工具链为开发者提供了模型和应用的分析与迁移工具,同时针对以往工具分散的问题,提供了一站式的推理工具链,包括模型转换、压缩、精度调试、性能调优等等,实现推理全流程开发无断点。

针对如何快速开发高性能行业 AI 应用的诉求。本次论坛,昇腾应用使能 MindX 推出了全新的开发套件,包含搜索推荐、检索聚类、视频图像等,同时,提供了这些开发套件从入门到进阶的开发和使用指导,帮助开发者快速上手,轻松玩转 AI 行业应用开发。

随后,昇腾计算的专家们给各位开发者们深入细致地讲解了如何快速高效地实现训练和推理业务的迁移、以及如何快速构筑高性能的行业应用。

1683771152291616.jpeg

训练开发迁移和实践:训练精度调试和大规模集群调优分享

训练场景精度调试、性能调优涉及大规模分布式系统、AI 框架、运行时软件栈、加速库以及异构加速硬件等各方面的软硬件知识,入门门槛相对较高,普通开发者遇到精度、性能问题常感到无从下手。昇腾 MindStudio 全流程工具链提供了训练场景调试调优端到端的解决方案,帮助开发者从硬件到软件再到 AI 框架全方位透视问题点,快速发现精度问题和性能瓶颈。昇腾训练开发工具链技术专家谢鹏在本次论坛中,详细阐述了精度、性能问题定位的思路和方法,并结合大量的优秀案例讲解,让开发者对精度、性能问题的定位流程有了更清晰的认识。

1683771189832118.jpeg

昇腾训练开发工具链技术专家谢鹏

推理开发迁移和实践:应用和模型迁移分析及一站式调试调优分享

推理开发者可能从推理业务迁移开始,推理业务从第三方平台迁移到昇腾 AI,涉及离线推理迁移和在线推理迁移,在线推理迁移主要涉及框架的适配,而离线推理迁移包含应用迁移和模型迁移。

应用迁移包含“预处理+模型推理+后处理”的全流程源码级迁移,为更好地完成应用迁移,需要工具进行应用的迁移分析,扫描出预处理的加速库 API,识别出修改点,提供对应的推荐建议,也即基于昇腾加速库构建同等的加速能力,并给出迁移工作量评估,提升用户应用迁移开发效率。

模型迁移是将第三方框架训好的模型转换到昇腾离线模型,并要保障精度和性能达标,涉及模型的转换、PTQ 量化压缩、模型改图、精度对齐和性能调优等。昇腾推理开发工具链技术专家张有陵在本次论坛中,详细阐述了提升推理迁移效率的一体化推理工具链的关键特性及优秀实践案例,包括模型和应用的迁移分析功能,以及一站式调试调优功能。不同硬件和对应的算子实现会导致模型精度和性能差异,而模型迁移中使用到的量化、融合、混精和改图的优化策略,也会对模型精度和性能产生影响,这些都可以基于工具的一站式调试调优能力实现精度与性能问题的快速定界定位,以及模型改图等技术实现模型的优化闭环。

1683771208132580.jpeg

昇腾推理开发工具链技术专家张有陵

行业应用开发套件:高性能搜索推荐套件分享

推荐系统在当前的互联网环境下已然出现在我们生活的各个角落,其被大规模地应用在短视频,电商,外卖等诸多日常场景中。昇腾 MindX 推荐 SDK 提供了简单易用的 API 接口,使用户能以低成本的方式将已有模型快速迁移到昇腾生态。昇腾搜索推荐技术专家黄诗磊在本次论坛中,对 MindX 推荐 SDK 的架构以及真实迁移案例进行了介绍。通过本次交流,开发者们将对昇腾生态的推荐系统能力有一个更全面的了解。

1683771220627670.jpeg

昇腾搜索推荐技术专家黄诗磊

行业应用开发套件:高性能检索聚类套件分享

随着 AI 技术的快速发展,越来越多的场景都需要用检索聚类技术,昇腾 MindX SDK 检索聚类组件提供了简单易用的 API,并兼容业界 Faiss 接口,保证了用户较低的使用切换成本。通过软硬协同和基于昇腾达芬奇架构的深度优化,提供了极具竞争力的检索聚类性能。本次论坛中,昇腾检索聚类技术专家胡德鹏介绍了 MindX 检索聚类组件的应用场景、架构设计、功能特性和使用方法,并做了现场演示,尤其是 Flat 暴搜性能令人印象深刻。通过本次交流和演示,开发者们对昇腾的检索聚类性能和使用方法有了全新的认识。

1683771232496540.jpeg

昇腾检索聚类技术专家胡德鹏

行业应用开发套件:高性能视频图像套件分享

计算机视觉技术是当前 AI 落地最为广泛的技术了。昇腾 MindX SDK 架构师陈波给我们介绍了昇腾 mxVision SDK 的特性:流程编排模式,帮助开发者可以更容易实现流水并行,发挥昇腾异构计算硬件的性能;mxBase 提供了 CV 应用开发的高级 API,带来了 20+图像处理加速算法,助力灵活开发高性能应用;近百个参考设计可以让用户直接上手。通过本次交流,我们可以感觉到在昇腾开发高性能 AI 应用如此简单。

1683771243418830.jpeg

昇腾 MindX SDK 架构师陈波

玩转 AI 开发者套件:快速上手开发极致性能应用

最后,昇腾开发者套件技术专家杨博、毛琦在本次论坛中从 Atlas 200I DK A2 开发者套件硬件规格、丰富接口、参考代码样例等方面入手,展示了昇腾一键制卡工具与模型适配工具的极简易用性,以及 Atlas 200I DK A2 配套的全流程开发工具链,并通过趣味案例对开发中涉及的技术进行了细致的拆解、演示,带领开发者们实操体验了机械臂智能分拣堆叠、部署专属的语音聊天机器人,引导开发者们从硬件和软件的角度全方位熟悉开发者套件,通过交流、实践进一步促进开发者对昇腾 AI 的了解。