【云享·人物】华为云 AI 高级专家白小龙:AI 如何释放应用生产力,向 AI 工程化前行?
本文分享自华为云社区《【云享·人物】华为云AI高级专家白小龙:AI如何释放应用生产力,向AI工程化前行?》,作者: 华为云社区精选。
在新科技革命和产业变革的大环境中,人工智能技术迭代和商业化进程不断提速,正在加快与千行百业深度融合。
如果说,简单的 AI 能力调用是新手入门,AI 开发是登堂入室,深入行业应用就是真正的大师了。然而,AI 开发过程中如果没有使用开发平台,开发过程就会比较繁琐,对于开发者和企业来说更是耗时耗力,所以找到一个合适的 AI 开发平台十分关键。
作为华为云机器学习和深度学习技术专家、ModelArts 产品架构师,白小龙在 10 余年 AI 领域的工作中,也见证了近几年业界 AI 发展的历程。本期的《云享人物·大咖面对面》,华为云开发者社区将和这位 AI 行业的深耕者聊一聊 AI 技术开发的世界。
AI 开发平台让开发者走出代码泥沼,低门槛高效率完成 AI 开发
随着技术发展和应用,AI 开发的组件数量和模型算法的复杂度都在增加,AI 开发流程太多,前期准备工作复杂。最典型的就是在做机器学习项目的过程中,通常需要花费大量的时间去做数据收集和数据预处理,这些前期准备的工作非常耗费人力和时间。AI 开发涉及的因素众多,作为 AI 算法人员,为了将项目落地需要则需要做非常多的工程化工作,以云平台为依托进行 AI 开发,则可以大幅提升开发效率。
“对于开发者来说,好的 AI 开发平台能够很好的承载完整的 AI 开发过程,如具备数据采集、数据预处理、算法开发、模型训练、模型打包和部署等功能,帮助开发者把所有苦活累活都干完,让开发者聚焦在最核心的问题建模。” 白小龙谈到。
为此,华为云推出了 AI 开发生产线 ModelArts。自 2018 年 ModelArts 发布以来,从 1.0 版本迭代到 5.0 版本,一直围绕着开发者的需求与痛点,在 AI 全生命周期各环节不断丰富产品功能,打造 AI 开发运维的 DevOps 全流程。作为国内率先支持 MLOps 的 AI 开发平台,ModelArts 在数据处理、算法开发、训练、推理和全流程 MLOps 上不断创新,在 AI 开发方面提供平台能力、开发流程、开发工具等,帮助开发者提升 AI 生产效率。
华为云 AI 开发生产线 ModelArts 流程示意图
数据处理作为 AI 开发的第一步,通常需要大量人力对各种原始数据进行标注,业内甚至有说法是“有多少人工,就有多少智能”。为了缓解这种情况,ModelArts 采用基于主动学习的智能标注技术,让人工标注数据量降到最小。ModelArts 的智能标注功能,可节省 70%以上的标注时间。
“基于‘AI for AI’的思想,ModelArts 把很多 AI 算法应用于人工智能平台中。”白小龙进一步解释道,机器学习算法是有很多的冗余性,这些更多的是来自于数据的冗余,冗余的数据又进一步导致了数据准备时间的增加。为此,ModelArts 提供一些数据处理的内置算法,能够自动的去获取到数据里边的冗余,从而把它提取出来,让数据的准备过程变得更加高效。
在算法层面,ModelArts 已经在图像分类、目标检测、视觉分类、姿态预估等多个领域提供预置算法。目前已提供了 60+官方算法,比如说 ResNet50、YOLOV5 等等。基于预置算法降低 AI 开发难度,ModelArts 可以很好的帮助初级开发者快速地找到合适且具备实际应用的算法,从而低门槛完成多种场景的 AI 算法开发与应用。以“ResNet50”算法、花卉识别数据集为例,开发者只需下载数据集和订阅算法(免费),然后使用算法创建训练模型,将所得的模型部署为在线服务即可完成。
在开发环境和工具方面,ModelArts 针对数据分析提供了云原生 Notebook,可支持交互式编程和可视化体验以及分享、重现。同时,ModelArts 还提供 VSCode 等 IDE 插件,支持用户远程开发调试,针对已经运行中的作业,也可以通过 webshell 方式进入容器内部做调试。
在此基础上,华为云将传统软件工程的 CI/CD 技术引入到 AI 开发过程中,将 ModelArts 的一些能力串联在一起,以开发流水线的方式进行 AI 开发。“升级之后的 ModelArts 可从从跨项目和跨时间两个维度来提升开发效率。” 白小龙讲到。
Workflow 流程示意图
白小龙进一步解释到,对于相似的项目需求而言,可以仅做简单的数据准备,就可以复用已有的 WorkFlow。从华为内部做项目的经验来看,复用模型和开发过程能将整个项目的效率提升一倍以上。此外,在时间维度方面,一个已经上线的 AI 模型在推理服务期间会不断地接受新的推理数据,基于这些新数据可以触发 WorkFlow 的持续迭代,加速模型更新的效率。
面向多样化的云边端场景,行业开发者平均需要花费 1~2 个月来完成 AI 应用对多种运行设备和系统的开发适配,耗时耗力。为此,ModelArts 升级服务,推出了可用于端边云场景的 AI 应用开发框架 ModelBox。通过屏蔽掉 AI 开发过程中常遇到的底层软硬件的差异难题,实现 AI 应用一次开发、全场景部署,将跨平台开发适配周期缩短 80%,将推理性能提升 2~10 倍。白小龙表示,目前 ModelBox 希望能适配市面上的更多类型的硬件设施,华为为此将其开源,希望吸纳更多开发者和企业的力量,让 AI 开发更加的简单便捷。
ModelArts“AI 工程化”能力,打通 AI 落地千行百业最后一公里
当下,AI 技术应用的增长速度非常快,非常多的细分行业已经开始应用 AI 技术。企业在不同的场景,都存在 AI 应用的需求。从技术上看,AI 开发正呈现工程化趋势加速 AI 应用落地。
一站式高效 AI 开发生产线 ModelArts
AI 工程化意味着 AI 技术的成熟和良好的使用体验,对希望借助人工智能实现智能化的企业而言,能显著降低技术投入和快捷组建开发团队。华为云将 AI 工程化能力深入到企业业务中,用 AI 释放生产力。ModelArts 通过端到端的链接,把核心算法包装成流水线,用户在遇到类似场景可以直接复用,通过预置算法、预训练模型、Workflow,打通 AI 落地最后一公里。“基于已经完成的某个业务场景的经验,使用 WorkFlow SDK 或者图形化界面将数据处理、模型训练、模型部署等能力编排起来,然后把流水线发布给业务应用人员。对于应用者来说不一定需要了解整个开发实现细节,他们只需要了解流水线的机制,以及需要存在变化的内容即可。”白小龙进一步解释到。
在加速 AI 的行业落地方面,AI Gallery 沉淀了 9 大行业场景 Usecase 供开发者调用。包括出行调度、销量预测、生产排程、货架识别、工业质检等,覆盖生产、销售、服务、运营等企业运作全场景。开发者和伙伴,可以在 AI Gallery 上学习 AI、开发 AI、分享 AI 资产,基于 AI Usecase 进行商业实践。
例如零售领域,华为云联合伙伴打造货架识别 Usecase,发挥 AI 智能巡店的价值。这套行业 Usecase 可以实现巡店翻拍检测、查重识别、竞品识别、货架占比等。在实际应用中,客户货架管理效率综合提升 30%以上,预计每年可减少巡店成本超过 100 万。
ModelArts 打造 9 大行业场景 Usecase
在 AI 资产重用方面,AI 开发助手 ModelArts Pilot 可以实现 AI 行业应用零代码开发。随着 AI 资产库越来越丰富,甚至面向整个业务问题的解决方案都可以通过 AI 资产库获得。基于此背景,一种基于 AI 资产重用的 AI 开发新范式:ModelArts AI 开发助手 ModelArts Pilot 发布了。
ModelArts Pilot 通过引导客户直接输入需求,通过语义理解将行业或业务问题转换为 AI 问题,并基于已有模型库进行查搜、推荐和调优,实现 AI 应用自动生成和解决方案的迁移复用。ModelArts Pilot 具备“零代码开发”“丰富的模型资源”“自动化”和“持续进化”四项优势。
AI 开发助手 ModelArts Pilot
华为云 AI 全链路赋能开发者和伙伴,实现生态共发展
不得不说,当同时集齐便捷的开发平台、大模型架构,以及开发框架,华为云为用户构建出了一个较为完整的软硬件生态系统,能够为开发和企业带来开发效率和开发体验的多维度提升。
在企业服务方面,为了深度打通企业 AI 开发需求,实现定制化 AI 能力的准确对接,华为云发布了 D-PLAN 生态伙伴计划。D-PlAN AI 生态伙伴计划是围绕华为云一站式 AI 开发平台 ModelArts 推出的一项合作伙伴计划,旨在与合作伙伴一起构建合作共赢的 AI 生态体系,加速 AI 应用落地,华为云向伙伴提供培训、技术、营销和销售的全面支持。白小龙表示,这一计划通过与合作伙伴共建 AI 生态体系的方式,全方位打通 AI 开发中的堵点、难点,以并肩协作的方式加速 AI 应用落地。面向企业 AI 开发体量大、需求复杂,定制化程度高的客观情况,华为云 D-PLAN 以更合理、直接的方式进行赋能。帮助企业快速从 AI 能力中获取价值回报。
为了更好的帮助到 AI 开发爱好者,华为云还推出了“知识”+“实训”的 AI 开发社区——AI Gallery,这里有:算法、模型、数据、Notebook 案例、课程、论文、实践等 10 余种、50000 余个 AI 资产。AI Gallery 通过联接 AI 市场的供、需、学三方,既能解决开发者需求,同时也满足 AI 生态中各角色的共享、交易需求,加速 AI 资产的开发与落地,保障 AI 开发生态链上各参与方高效地实现各自的商业价值。
白小龙讲到,除了外部提供的支持和帮助,开发者自身也需要从行业应用出发,能够做好将行业问题到 AI 技术问题的转换,增强自己的在 AI 工程化方面的能力,结合工程化能力的优势,将其与行业结合,这样能为行业带来非常大的价值。
从这一刻,写下 AI 未来
人工智能正在从高深莫测的黑科技,变身为辅助工作、生活不可或缺的重要组成部分,持续提供创造力和生产力。
随着 AI 由技术落地应用阶段向效率化生产阶段转变,AI 的后半场以场景驱动,AI 工程化能力突显价值。将 AI 开发趋向于生产线模式的 ModelArts,会继续在 MLOps 方面深耕。
ModelArts 接下来会有一些更好的新特性上线,如灵活的资源管理和资源调度能力,更易用的调试环境,让企业和开发者能够用到更便捷、更顺畅的 AI 开发平台。这也是白小龙眼中 ModelArts 未来的样子:“让 AI 开发变得更简单,更顺畅!”
华为云 EI 开发者支持团队将为合作伙伴提供 AI、大数据相关的技术支持,帮助伙伴上手华为云 EI 的开发平台或集成原子化 AI 服务,并将提供商业化落地的支持,诚邀伙伴参与共建 AI 开发者生态。如有 AI 合作需求请联系 cloud.ai.partner@huawei.com,(我们将在 1 个工作日之内为您反馈)
版权声明: 本文为 InfoQ 作者【华为云开发者联盟】的原创文章。
原文链接:【http://xie.infoq.cn/article/6efde9c517990bdb43113b06e】。文章转载请联系作者。
评论