@[TOC]

摘要

①dolphinscheduler 调度器可视化画面地址：http://192.168.20.43:12345/dolphinscheduler/ui/view/login/index.html用户名：admin 密码：dolphinscheduler123

②Dolphin Scheduler Api Docs 文档 API 地址：http://192.168.20.43:12345/dolphinscheduler/doc.html

③Dolphin Scheduler 官网地址可查看文档及 ER 图等等https://dolphinscheduler.apache.org/zh-cn/docs/1.3.5/user_doc/metadata-1.3.html

项目背景

使大数据平台具备更见健全及多种脚本模型等支持，需要搭载 dolphinscheduler 调度器，以 DAG 图的方式将 Task 按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态，支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure 等，支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、- 从指定节点恢复失败、Kill 任务等操作，支持任务日志在线查看及滚动、在线下载日志等。

功能要求

大数据平台可视化配置 spark 执行任务、datax 同步任务 -> 通过接入 dolphinscheduler 调度器 管理、执行。

功能说明

（大数据平台页面可显示的）大数据平台接入 dolphinscheduler 功能如下：项目管理操作、spark 任务功能管理操作、datax 数据同步任务管理、执行、停止任务操作。（大数据平台页面不可见的）工作流管理操作，包括工作流创建、更新、删除操作页面。工作流实例页面、任务实例页面。

1.1 用例图

1.2 业务流程分析

1.3 业务 ER 图

dolphinscheduler 中项目、工作流、节点任务 ER 图

1.4 管理任务流程图

1.5 功能设计详细说明点

说明：①　“项目定义”：由大数据平台所有用户所共享

②　“工作流定义”：每个用户单独创建一类工作流，spark 任务工作流叫 userId-dragSparkTask、数据同步任务工作流叫：userId-dataxTask

③　“创建或更新工作流时更新参数 locations”得 x,y 坐标，第一次创建工作流节点 x=0,y=0,更新节点时获取坐标 y 最大且离远点最远节点判断临界条件（如果 x<1500 -> x+80，如果 x>=1500 -> y+80），确保两节点不重叠且在同一页面

④　==1）针对 spark 任务：==“创建或更新工作流时更新参数 processDefinitionJson”时，需传转义字符()和字符串的双引号(")，不然工作流节点的主程序参数无法设置且在 dolphinscheduler 节点中无法执行，其中参数“mainArgs”中“}}”替换为“} }”，且需要拼接“\”转义字符，另外任务参数需要“\\”，不然接收方节点得 main 的 args 参数格式无法设置进去、解析及使用。==2）针对数据同步任务：==“创建或更新工作流时更新参数 processDefinitionJson”时，需传转字符串的双引号(")，且 params 参数的 json 参数需要转义字符()，不然工作流节点的主程序参数无法设置且在 dolphinscheduler 节点中无法执行。⑤　“创建或更新工作流”时，参数 locations 和 processDefinitionJson 中的两个参数（id、name）要保持一致，其中“spark-任务 ID”和“datax-任务 ID”，"name":"xxx"->代表工作流中节点名字，举例说明：

⑥==1）创建 spark 任务节点参数说明==

==2）创建 datax 任务节点参数说明==

1.6 页面原型

三、本人相关其他文章链接

1.springboot 项目集成 dolphinscheduler 调度器 可拖拽 spark 任务管理：https://blog.csdn.net/a924382407/article/details/117119831

2.springboot 项目集成 dolphinscheduler 调度器 实现 datax 数据同步任务：https://blog.csdn.net/a924382407/article/details/120951230

3.springboot 项目集成 dolphinscheduler 调度器 项目管理：https://blog.csdn.net/a924382407/article/details/117118931

4.springboot 项目集成大数据第三方 dolphinscheduler 调度器 执行/停止任务https://blog.csdn.net/a924382407/article/details/117121181

5.springboot 项目集成大数据第三方 dolphinscheduler 调度器https://blog.csdn.net/a924382407/article/details/117113848