CyberScheduler 架构引擎

CyberScheduler 架构设计

1. 多租户架构，支持 SaaS 化部署和私有化部署

2. 多源异构数据（多种集群、数据库）、多计算引擎、多类型任务的统一编排调度

3. 灵活资源管理能力，支持不同类型任务的资源管理和资源隔离，优于开源产品

4. 高可用、高扩展性、性能领先，具有大规模企业级服务能力

5. 架构具有可演进性，针对任务规模输出最优部署架构

6. 支持跨网域、多数据中心调度，支持多云、混合云调度

• 调度集群由任务转实例、实例派发、基线监控、超时监控、资源管理、资源监控、工作流调度、实例回调、基线警告、实例归档（在大规模的任务实例在长期使用中通过归档可以减少数据查询的影响）、资源调度、故障转移；

• 任务执行、任务提交（非本地执行，通过提交引擎执行）、数据质量运行、数据指标运行、临时查询运行（针对 sql 的运行）组成执行集群。

• 支持引擎多样

优势：

高可用容灾

多节点分布式，一个资源组可以有多个 worker，设置多个资源组在不同类型的任务进行中可以进行隔离，开发提交任务不会影响生产。

高性能调度

支持分钟级周期、千万级规模调度。支持某大型国央企、某连锁新零售客户、某大型出海电商等客户线上稳定调度。

可视化开发运维

多环境隔离

支持各种场景的灵活隔离部署

可演进部署架构

特性：

• 任务调度：做到分布式、高可用、多集群模式，达到千万级，支持水平扩展；

• 资源管控：资源组监控和告警、节点监控和告警；

• 资源调度：能够基于资源组进行资源调度，支持公共资源组和自定义资源组基于资源组调度，支持自定义资源组；

• 资源调度：支持租户隔离、资源组隔离、项目的简单模式、标准模式、自定义模式；DEV、SIT、 UAT、PRD 环境隔离；

• 多集群：灵活支持多种集群如 AWS EMR、AWS EMR Serverless、 Hadoop、K8s;

• 异构数据源：灵活支持多种数据源：关系型数据库 12 种、大数据存储 15 种、半结构存储 6 种、NOSQL2 种(mongo、es)、消息队列 1 种(kafka);

• 可视化工作流：DAG 画布创作，支持（血缘解析）输入输出添加依赖、支持跨工作流添加依赖；支持跨周期依赖；

• 任务发布审批：支持审批流且支持自定义，并支持审批的开启和禁用；

• 任务发布：停止、 重跑、冻结/解冻，置成功、测试、补数据(指定任务及其下游）；运维大屏、基线监控、规则监控；

• 任务告警：全方位任务实例信息监视、基线监控、多种对象监控、多种告警方式。