阿里云 ACK One Serverless Argo 助力深势科技构建高效任务平台

作者：田双坤、于雪

前言

深势科技是“AI for Science”科学研究范式的引领者和践行者，致力于运用人工智能和多尺度模拟仿真算法，结合先进计算手段求解重要科学问题，为人类文明最基础的生物医药、能源、材料和信息科学与工程研究打造新一代微尺度工业设计和仿真平台。

对于深势的科学家和用户来讲，每天都要进行大量的仿真计算和实验，对应有数以万计的任务需要运行，于是深势科技构建了自己的机器学习任务平台，来实现任务开发训练的自动化提交运行，但是随着业务发展，任务数量和复杂度急剧增大，平台出现了许多的痛点。

业务痛点

在使用任务平台的过程中，主要遇到以下痛点：

1）无法高效弹性

业务具有峰值高，并发大的特点，高峰期可能达到万节点，资源供给不足，会导致业务失败。 在任务跨系统调用时，等待时会产生空闲 Pod，一昧空转会导致资源浪费。

2）运维困难

任务引擎基于开源构建，在出现问题时，需要专业的人来定位问题，由于用户提交的任务参数复杂，步骤多，常常需要耗时数小时，成本巨大。

为了避免业务之间的相互影响，按照业务区分了不同的集群，进一步加剧了运维的困难程度。

3）稳定性低

在集群中运行非常多的工作流时，管控面压力太大，会导致集群不可用，业务受损，并且任务失败重试机制不完善，整体任务完成率低。

4）安全风险

权限控制困难，无法做到用户级别的权限控制，有很多潜在的不稳定因素，难以保证业务和主机安全。

全托管 Serverless Argo 工作流

Argo Workflows 是 CNCF 毕业项目，最受欢迎的云原生工作流引擎，无缝兼容 Kubernetes，在机器学习、数据处理、CI/CD、自动化等场景下有着非常广泛的应用。

为使企业可以更加轻松地编排工作流，在短时间内轻松运行大规模机器学习或数据处理的计算密集型作业，快速运行 CI/CD 流水线，阿里云分布式云容器平台 ACK One 提供无服务器模式的分布式工作流 Argo 集群功能（Serverless Argo），使用阿里云弹性容器实例 ECI 运行工作流，通过优化 Kubernetes 集群参数，实现大规模工作流的高效弹性调度，同时配合抢占式 ECI 实例，优化成本。

ACK One Serverless Argo 托管了开源 Argo Workflows，完全兼容社区标准，并且在其基础上有众多增强：

1）跨地域高弹性，资源按需

结合大规模 Serverless Pod 以及跨地域算力调度，在高峰期能够调度到数十万弹性资源，完美应付算力高峰。

增强开源 Argo Suspend 机制，减少跨系统间调用时的资源空转浪费，节省成本。

2）开箱即用，无需运维

Serverless Argo 紧跟开源社区，托管并加强了开源 Argo Workflows，支持大 Workflow（5000+Pod），大规格参数，运行时更新重试，机器学习工程师无需感知底层架构，5 分钟即可获得一个稳定高性能的工作流引擎。

3）集群高可靠

通过众多大规模使用场景沉淀，Serverless Argo 对集群的管控面进行了针对 Workflow 类型任务的参数调优，提升了管控面稳定性，对无效资源进行定期清理，保证集群的长期稳定运行。

4）安全

结合阿里云权限控制，Serverless Argo 能够提供精细化的权限控制。支持 RAM 账号 SSO 登陆，Namespace 级隔离，有效降低集群安全风险。

Serverless Argo 平台非常好的满足了深势科技对于机器学习任务平台高效弹性、免运维、高可靠、安全等方面的需求，迁移也是水到渠成的结果。除此之外，平台还在事件驱动、数据访问、社区差异化等方面有许多优化和增强，让不同类型用户在 ACK One Serverless Argo 平台上得到适配更多场景、更丰富的能力，可以更便捷的构建起符合自身业务需求的工作流平台。

5）事件驱动

托管了 Argo Events，一键开启，并且整合支持了 MNS、OSS 等阿里云产品和开源 Git 等事件源的驱动，自动化的触发任务运行，可以帮助用户构建事件驱动的全自动化工作流平台。

6）数据访问

支持高带宽读，提供的 CNFS 支持 NAS、OSS、CPFS 混合使用和多链路加速访问， 支持 20GB+ 读带宽。提供分布式缓存加速能力，提高数据访问性能，减少任务启动时延，有效节省成本。

7）社区版差异化

相比开源的 Argo Workflows，除了稳定性、可靠性的保障之外，还提供许多的差异化能力，来提高用户工作流的成功率和可观测性：

• 自动化感知任务失败原因（OOM、Spot Release、磁盘不足等）并 Retry 和自适应 Pod 资源扩容。

• 工作流 DAG FailFast、Continue On 逻辑优化和 UpdateAPI 增强，支持运行时更新。

• 工作流端到端成本/资源观测支持、Inputs/Outputs Artifacts UI 可观测支持。

• 超大输入参数工作流支持。加速工作流间参数解析，支持更扁平（2000+Step）工作流。

迁移成果

在技术方面，深势科技联合 ACK One 团队将之前积累的多项特性一同贡献给社区，进一步提高 Argo Workflows 项目的稳定性和易用性。

在业务方面，由于 Serverless Argo 完全兼容开源 Argo Workflows，所以原平台的各个业务模板可以达到无需修改、无缝迁移，在一周之内就完成了机器学习任务平台的整体迁移。原本分散的多个集群，如今在 Serverless Argo 平台的助力下，被整合成一个高效、统一的集群，这一变革使运维成本显著降低，简化了管理流程，并提升了系统的整体性能。

深势科技 Lebesgue 基础服务负责人孙建翔对迁移过程中的顺利进展表示满意。他特别提到：“阿里云的积极协助在整个迁移过程中起到了关键作用。他们的专业团队为我们提供了全方位的支持，从方案设计到实施迁移，都给予了我们极大的帮助。无论是多大的工作负载，Serverless Argo 平台都能轻松应对，其出色的弹性和扩展性让我们倍感安心，用户对于超大工作流的拉起速度的提升表示高度赞赏。有了 Serverless Argo 平台的强大支持，我们有信心将更多的业务迁移至该平台，从而进一步提升研发效率，加速产品的迭代和创新。我们期待着在 Serverless Argo 平台的助力下，不断突破技术瓶颈，为用户提供更加卓越的产品和服务体验。”

未来

随着模拟仿真、科学计算等大规模数据处理需求越来越多，ACK One Serverless Argo 会继续在弹性、稳定性等方面进行增强，更好的支持大规模数据处理的运行。在 CI/CD、自动化方面也会适配更多场景，驱动基础设施的自动化改造。欢迎使用钉钉搜索群号加入我们。（钉钉群号：35688562）