AI 专家一席谈:复用算法、模型、案例,AI Gallery 带你快速上手应用开发
摘要: 华为云社区邀请到了 AI Gallery 的负责人严博,听他谈一谈 AI Gallery 的设计初衷、经典案例以及未来规划。
本文分享自华为云社区《AI专家一席谈:复用算法、模型、案例,AIGallery带你快速上手应用开发》,作者:华为云社区精选 。
你见过哪些有趣又实用的 AI 开发案例呢?
比如让静态照片上的人物开口唱歌,动漫角色也可以哦;再比如通过识别各类野生动物并分析种群结构,进而实施保护;又或者智能检测口罩佩戴的规范性,助力疫情防护……
这些场景化的 AI 案例,都可以在华为云AI Gallery上找到对应的模型,通过不断训练,你也可以实现。AI Gallery 上拥有算法、模型、数据、Notebook 等丰富而优质的 AI 资产, 开发者可以直接复用这些资产,解决 AI 应用开发的难题。
纵观 AI 应用的整个开发流程,从数据采集、标注,到算法模型的构建,每个环节都会产生许多可以复用的 AI 资产,而 AI Gallery 的目的就是充分发挥这些资产的效用,提高 AI 开发效率。
那么,它是如何汇聚这些 AI 资产,又是如何让资产效用最大化地帮助到开发者高效的进行 AI 开发呢?
华为云社区邀请到了 AI Gallery 的负责人严博士,听他谈一谈 AI Gallery 的设计初衷、经典案例以及未来规划。
人工智能有三驾马车:数据、算法、算力。从这三点看,当前的 AI 应用开发进入到了什么阶段?
人工智能是人类在不断探索和发展一个领域,因为事先没有定义好有哪些阶段,所以很难回答我们当前处在哪个阶段。但是有一个很明显的感知,人工智能发展比 10 年之前有显著的进步,大量应用也越来越多。
这个契机是 2012 年以深度学习为代表的一类算法得到突破。 在此之前,大家更关注的是算法,大家都是在用数据降维和一些分类器的方案去做机器学习相关的 AI 开发,训练的数据体量也很小。
在 2012 年的契机点上,有了算力的加持,再通过算法和大量的数据迭代,我们看到 AI 开发模型的精度有了量级的提升。 随着这个量级提升之后,它能够在更多的行业和领域去应用 AI 技术来提高生产力。
但是,当前这个阶段人工智能还不能像人类那样,可以通过少量数据的学习获得逻辑推演能力。人工智能本质上还是通过大量的数据进行拟合和迭代,让它能够“记住”数据再去做一些推理,但它并不具备逻辑推演能力。不过,相比过去 10 年,AI 最终的准确率已经有了提升,它的应用领域也进一步拓展。
往后展望,我们还会在算力上有进一步的突破,再加上整个算法和数据的加持,最终能训练出精度更高,甚至是像人类那样能够获得逻辑推演能力的 AI。
一个完整的 AI 应用开发流程包括哪些环节,其中的挑战是什么?
一般是三个流程。
第一个环节是数据准备, 需要采集数据,对数据进行清洗,转换的工作。每一个环节都有自己的挑战。以数据为例,采集阶段会有政策法律上的限制,数据孤岛很难被打破。另外还要对数据进行有效的标注,这需要大量的人力才能完成,经济成本较高。
第二个阶段是建模, 基于准备好的数据,选择合适的算法,开发相关的模型。要考虑训练出来的模型的应用场景。比如 AI 应用是放在移动端上的,还是放在云端服务器上,这两者对推理的时延、准确率的要求都是不同的。因此 AI 开发的建模过程,要综合理解 AI 应用的场景,再去选择合适的算法工艺架构。它和只追求精度或者推理速度的学术领域不一样,我们需综合考虑,所以挑战比较高。
第三个阶段是基于模型来进行具体的 AI 应用的开发, 它围绕具体的应用场景,配合开发一些 IT 系统、软件、UI 交互等。比如算法工程师负责建模开发,到了应用开发阶段可能是由应用工程师承担,它的角色是变换的。作为应用开发工程师,收到的是已经开发完的模型,但这个模型推理的时延和精度可能都达不到理想状态。这个时候就要通过压缩,蒸馏的技术进一步优化它。如果精度达不到,还得考虑最终这个应用是否能够通过一些巧妙设计来规避这些问题。
AI Gallery 是不是为了解决上述环节中的一些问题?它的设计初衷是什么?
现在很多开发流程都是平台化的,AI 开发的每个阶段都会产生一些数字资产:算法、模型、数据集,可能还有一些处理的函数、方法之类的。我们希望有一个地方能够把这些东西都沉淀和积累下来,以方便后续的开发者复用之前的一些成果, 这也是我们设计 AI Gallery 的初衷。
当越来越多的开发者分享各种场景下的 AI 资产,AI Gallery 可以包含全场景各种精度的实验,这时其他开发者也能根据最终的开发场景直接拿来即用这些资产。
打个比方,AI 开发的三个阶段可能是由不同角色介入的,如果应用工程师想介入到 AI 开发中,但又缺少相应的数据和算法工程师该怎么办?AI Gallery 里就有训练好的模型,应用工程师拿来即用就可以了。从这个角度来看,它可以提高整体的开发效率。
开发者选择算法或者模型首要考量是什么?在这一点上,AI Gallery 是如何应对的?
如果是选数据的话,一般是基于它的行业和领域场景,看有没有合适的数据,这个是跟领域和行业强相关的。当前我们提供了数据的分享的机制,有很多开发者已经共享了开源标准场景的数据集,来供大家在 ModelArts 上快速地验证自己的想法。
算法方面,开发者首要考量的是算法最后产生的模型是不是自己想要的,以及算法在训练时的输入数据格式,训练所需的开销、运行算法的环境等等。
模型方面,先要明确应用开发是部署在云上、边缘侧,还是端侧,这对于最后的应用场景很重要。其次是推理的时延,诸如医疗场景的数据会很大,它的推理就是异步的,但有些场景要求的是实时推理,可能对推理响应的时间要求很高。最后是精度,要评估应用场景对精度的敏感度。
综上,在 AI 开发的每一个阶段,都有很多需要考虑的指标、量纲。我们要做的就是把这些量纲和指标准化出来,能够让发布 AI 资产的开发者填写这些指标,方便使用的人去浏览、筛选和检索,快速找到他想要的东西。
AI Gallery 有哪些经典案例可以给开发者介绍一下?
对于视觉领域的一些经典算法如 YOLO、ResNet50,官方已经做了大量的适配,但这些算法其实没有沉淀到这个领域和行业里面的。因此我们基于内部的一些项目,也去做了一些 AI 的实践案例。比如说水表读数,安全帽检测等等。这些案例可能是使用同一个具体的算法,但是应用在不同的领域和行业场景。
后续会让我们的伙伴、高校的老师、开发者一起来分享他们的案例,这样,其他的开发者也能通过阅读这些案例快速的复现,加速整个端到端的开发。
在此也为大家推荐一些 AI Gallery 上的经典案例:
安全帽检测、水表读数识别、工地场景的钢筋盘点、使用PPO算法玩超级马里奥兄弟、与中国象棋AI对战。
像工业安全帽检测、水表读数,都是基于华为在行业内的一些项目沉淀出来的案例。这些案例生产的模型可以达到工业级的要求,它可以直接部署使用。唯一的区别是数据,当前我们只提供一个样例的数据,如果大家能够采集到更多更好的数据,训练出来的模型精度也会非常不错。
在 AI Gallery 发布 AI 资产后,开发者能享受到什么权益?
对于 ISV 伙伴来说,AI Gallery 是和华为云云市场打通的,因此他们可以上架云市场,商业售卖资产模型,直接获得商业利益。
对于开发者来说,当前更多的是个人成就和荣誉的提升。后续我们也在积极的引入个人开发者计划,让普通的个人开发者去参与到整个项目之中,真正地进入到实战环节,既能获得实践的锻炼,也能够得到经济上的回报。
AI Gallery 是如何助力普惠 AI 的?
一是资产和案例的积累。 当前已经有很多开发者在 AI Gallery 上贡献主流的开源数据集,其他人直接验证算法时可以拿来即用。在算法和模型方面,官方也已经把很多常用算法做了预集成。高校也在将一些经典论文的算法发布到 AI Gallery 分享。
二是分享机制。 开发者可以把算法和模型分享到 AI Gallery,然后我们正在尝试采取一些激励的机制,让他们更有动力分享。
三是针对端到端的案例场景,我们上线了案例库。 当前案例虽然还不是很多,但后续华为官方以及 ISV、伙伴、个人开发者会陆续将开发和交付的项目案例总结发布进来,让广大开发者通过学习这些案例来加速应用开发过程。
AI Gallery 的未来规划是怎样的?
第一个方向是加速行业和企业的 AI 应用落地。 首先就是通过资产沉淀提高 AI 开发效率。其次是我们正在做项目的需求广场,以及开发者的认证机制,通过减少开发环节的链路,让更多的开发者和伙伴通过 AI Gallery 开发和交付 AI 项目,最终帮助行业和企业解决问题,加速应用的落地。
另一个方向主要是面向学习教育的场景。 现在我们基于大量的算力和数据去做迭代式的训练和开发,但很多高校的硬件可能跟不上,需要在云上进行教学实践。所以面向教育行业,面向个人开发者学习的场景,我们也打算做一些事情,包括教学课程,论文解读等等。
最终我们希望把这两条线打通,既能提供教学培训、学习的一站式解决方案,也能够让开发者把学习到的知识通过真实的交付场景实践出来。
版权声明: 本文为 InfoQ 作者【华为云开发者社区】的原创文章。
原文链接:【http://xie.infoq.cn/article/9925bb3838586f95574febaf4】。文章转载请联系作者。
评论