飞桨企业版重磅发布智能边缘控制台,5 分钟零代码自动化模型部署
12 月 12 日,由深度学习技术及应用国家工程实验室主办的 WAVE SUMMIT+ 2021 深度学习开发者峰会在上海召开。此次峰会,最让开发者惊艳的是飞桨开源框架 v2.2 的重磅发布。百度深度学习技术平台部高级总监马艳军与百度 AI 产品研发部总监忻舟,就飞桨新版本特性与落地部署应用做了详尽解读,框架核心技术持续领先,落地部署降低应用门槛,飞桨正在为解决 AI 落地产业提供全新的答案。
践行融合创新,飞桨核心技术持续积累与突破
峰会现场,马艳军表示,飞桨作为中国首个自主研发、功能丰富、开源开放的产业级深度学习平台,核心技术持续积累与突破,全新发布的开源框架 2.2 版本,涉及深度学习开发、训练、文本任务极致优化、硬件高效适配、低门槛推理部署等多方面创新性技术,赋能开发者,为产业应用和前沿探索提供技术源动力。
开发方面飞桨提供丰富的 API,支持开发者便捷、高效地开发深度学习模型。飞桨框架 v2.2 的 API 更加丰富、高效并保持良好的兼容性,有针对性地丰富了 100 多个 API,可支持更广泛模型开发,尤其针对科学计算的模型应用,增加了傅里叶变换、Jacobian/Hessian/VJP/JVP 等一系列 API,支持量子计算、生命科学、计算流体力学、分子动力学等应用,助力前沿技术探索。
训练方面全新发布端到端自适应大规模分布式训练技术。针对不同的模型和硬件,抽象成统一的分布式计算视图和资源视图,并通过硬件感知切分和映射功能及端到端的代价模型,搜索出最优的模型切分和硬件组合策略,将模型参数、梯度、优化器状态按照最优策略分配到不同的计算卡上,达到节省存储、负载均衡、提升训练性能的目的。
基于全新的端到端自适应大规模分布式训练技术,百度飞桨在鹏城云脑 II 集群上采用自适应优化,训练速度达到优化前 2.1 倍。而近期发布的全球首个知识增强千亿大模型鹏城-百度·文心,也是基于端到端自适应大规模分布式训练技术。
文本任务方面从文本处理、训练、解码到部署进行全面加速。升级对字符串张量的支持,为开发者提供端到端文本任务开发体验。在预训练模型方面,针对 Transformer Encoder 的网络结构实现了极致的性能优化,并通过自定义算子功能,融合了 NVIDIA FasterTransformer 的高性能算子。基于这些优化,框架针对预训练模型形成了训推一体全流程开发体验,让部署代码节省 94%。
硬件接入方面多层次、低成本的硬件适配方案降低了框架与芯片的适配成本。百度自研 Kernel Primitive API、NNAdapter、编译器 CINN(预发布)三大优化方案,分别对 AI 算子库、图、编译器后端进行软硬件结合的深度融合优化,极大降低了硬件适配成本,赋能硬件生态圈。
持续降低应用门槛,飞桨模型库、企业版全新升级
除了飞桨深度学习框架技术的领先发布,峰会还带来了飞桨产业级开源模型库和企业版的全新升级。
马艳军在会上表示,目前,百度飞桨官方支持的产业级开源算法模型超过 400 个,并发布 13 个 PP 系列模型,在精度和性能上达到平衡,将推理部署工具链彻底打通。
飞桨产业应用能力全方位升级的同时,飞桨企业版也在着力提升模型部署能力。会上,忻舟带来了飞桨企业版模型部署升级和飞桨 EsayDL 桌面版的全新发布。
飞桨企业版包括 EasyDL 和 BML 双平台开发模式,致力于提升 AI 开发效率和资源使用效能,目前已经成为应用和落地最广泛的 AI 开发平台。此次模型部署的全新升级基于飞桨推理部署工具链,与平台深度融合,打造自动高效的企业级部署功能。
首先是全自动模型组合压缩,显著提升推理性能。基于 PaddleSlim,根据不同模型和硬件的特点,设计了多条全自动组合压缩流水线,能够自动选择最佳压缩路径。对常见的模型,精度损失控制在 1%下,加速比能达到 3-5 倍。
其次基于飞桨推理引擎,广泛适配推理芯片。新版本采用了飞桨推理引擎,广泛适配推理芯片且性能优异。目前,平台已完成 9345 种模型芯片的组合的真实测试和调优,可以覆盖 95%的需求场景,相比自行适配节省 97%的开发时间。
最后是模型服务化与智能边缘控制台,大幅提高部署效率。尤其是全新发布的智能边缘控制台,提供了全可视化的操作界面,使得模型与业务集成的效率显著提升,模型部署时间从天级别缩短至 5 分钟。忻舟现场演示了如何 5 分钟让机器狗学会手势识别的新技能。
最后,飞桨 EasyDL 桌面版全新发布。开发者不必繁琐的配置各种环境,在桌面一键极速安装即可实现本地高效建模,1 分钟安装完成,15 分钟就可完成模型开发,本地实现数据管理、算力调度、部署应用,让 AI“触手可得”。
源于产业实践的百度飞桨产业级深度学习开源开放平台,是百度践行融合创新、降低行业发展门槛的 AI 大生产平台。飞桨的一代一代迭代更新,更是中国人工智能产业的一步一步的向上攀登。AI 促动中国产业繁荣,飞桨一直在路上。
百度 AI 开发者社区百度AI开发者社区 ,为全国各地开发者提供一个交流、分享、答疑解惑的平台,让开发者在研发路上不再“孤军奋战”,通过不断地交流与探讨找出更好的技术解决方案。如果你想尝试各种人工智能技术、开拓应用场景,赶快加入百度 AI 社区,你对 AI 的所有畅想,在这里都可以实现!
【投稿赢大奖】——奇思妙想+AI 技术=?🌟奇思妙想与 AI 技术碰撞会产生什么样的火花?🌟独特、新颖的思路会与 AI 技术会产生什么样的化学反应?🌟参与活动有机会赢大奖,更有机会成为 AI 开发者联盟成员!一起来解锁开发者联盟更多福利吧大奖在这里👇👇👇👇👇👇参加活动电竞级耳机、京东卡、爱奇艺年卡、百度定制大礼等你来拿!立即参与:【投稿赢大奖】 -- 奇思妙想+AI技术=?
版权声明: 本文为 InfoQ 作者【百度大脑】的原创文章。
原文链接:【http://xie.infoq.cn/article/7fd0e2559241b0b9520cc7291】。文章转载请联系作者。
评论