阿里云机器学习平台 PAI 宣布集成国产深度学习框架 OneFlow
11 月 4 日消息,在云栖大会上,阿里云机器学习平台 PAI 宣布集成自研深度学习框架 OneFlow,进一步提升对国产算法框架的支持。
阿里云机器学习平台 PAI 是一站式 AI 开发平台,提供了丰富的机器学习组件和云原生开发工具,集成了国际主流的机器学习框架例如 TensorFlow、PyTorch 和 Caffe 等。同时,PAI 具备开放性的技术架构,支持第三方社区框架集成到 PAI 平台,以社区镜像或自定义镜像的方式提供给开发者。
将自研深度学习框架 OneFlow 集成到 PAI 上,也是对机器学习平台 PAI 开放性的验证,PAI 可以在架构上实现包括对国际主流、国内自研在内的任何第三方深度学习框架的支持。
OneFlow 是一款易用、高效、高扩展,自主研发的深度学习框架。其算子和模块编程接口与 PyTorch 兼容性极高,基于 PyTorch 搭建的常见模型几乎不用修改即可在 OneFlow 上运行,迁移成本低。并且可以轻松切换动静模式,模型调试阶段享有和 PyTorch 完全一样的动态图编程体验;除此之外,OneFlow 计算性能卓越,在主流模型上最大有一个数量级的性能提升,极致系统级优化实现几乎零运行期开销。
目前,AI 开发者已经可以在 PAI 的云原生开发环境中使用 OneFlow 进行机器学习训练和离线推理。开发者在 PAI 的深度学习容器 DLC 中创建训练任务时,只需要在“社区镜像”列表里选择 OneFlow 镜像,任务提交后 PAI 就可以使用 OneFlow 框架执行深度学习训练任务。开发者也可以在 PAI 的 Data Science Workshop (DSW) 交互式开发工具中安装 OneFlow 软件并执行基于 OneFlow 框架的训练任务。
除了通过合作集成的方式实现对第三方社区框架的支持,PAI 平台还允许开发者使用自定义镜像来执行云原生训练任务。开发者可以在深度学习容器 DLC 中选择自己事先保存好的镜像,或者指定自定义镜像地址,在提交训练任务时 PAI 就会使用该镜像执行相应的任务。PAI 平台的开放性架构设计实现对任何第三方机器学习框架的支持,具有良好的可扩展性和丰富性,是基于云原生 AI 开发的强大平台。
评论