零风险操作！DolphinScheduler 高可用架构下的无损扩缩容指南
前言
Apache DolphinScheduler 作为一款开源的分布式任务调度系统，在实际生产环境中经常需要根据业务需求对集群进行扩容或缩容操作。本文将详细介绍 DolphinScheduler 集群的扩容和缩容操作流程，帮助运维人员安全、高效地调整集群规模。
集群扩容操作
1. 扩容前准备
在进行扩容操作前，需要明确以下几点：
扩容节点类型：Master 节点还是 Worker 节点
扩容节点数量
扩容节点所在物理机是否已安装相关服务
重要提示：同一台物理机上不能同时运行多个 Master 或 Worker 服务进程。
2. 基础环境准备
2.1 必备软件安装所有扩容节点必须安装：
JDK 1.8+：需配置 JAVA_HOME 环境变量
基础工具：如 wget、tar 等
Worker 节点可选安装：
Hadoop/Hive/Spark 客户端（如需执行对应类型任务）
2.2 获取安装包
确认现有集群版本，获取相同版本的安装包
确定统一安装目录（如/opt/dolphinscheduler）
下载安装包并解压到目标目录
添加数据库驱动包（如 mysql-connector-java）
3. 系统用户配置
在所有扩容节点上创建部署用户并配置 sudo 权限：
4. 配置文件调整
4.1 配置文件拷贝从现有节点复制 conf 目录到新节点，重点检查：
datasource.properties：数据库连接信息
zookeeper.properties：ZK 连接信息
common.properties：资源存储配置
dolphinscheduler_env.sh：环境变量
4.2 环境变量配置修改 conf/env/dolphinscheduler_env.sh，示例配置：
创建 Java 软链接：
4.3 集群配置更新修改所有节点上的 bin/env/install_env.sh：
5. 权限设置与集群重启
设置目录权限：
集群重启命令：
6. 扩容验证
使用 jps 命令检查服务进程
查看各节点日志文件
通过 Web UI 监控中心确认新节点状态
集群缩容操作
1. 缩容前准备
明确要缩容的节点类型和数量，确保缩容不会影响现有任务执行。
2. 缩容操作步骤
2.1 停止目标节点服务在要缩容的节点上执行：
使用 jps 命令确认服务已停止。
2.2 更新集群配置修改所有节点上的 bin/env/install_env.sh，移除对应节点配置：
3. 缩容后检查
确认剩余节点服务正常运行
检查任务调度是否受影响
监控系统资源使用情况
注意事项
版本一致性：确保所有节点使用相同版本的 DolphinScheduler
配置文件同步：集群所有节点的配置文件必须保持一致
服务依赖：Worker 节点如需执行特定类型任务，需安装对应客户端
资源权限：确保部署用户对资源存储系统有足够权限
操作顺序：先停止服务再修改配置，避免状态不一致
通过以上步骤，您可以安全地对 DolphinScheduler 集群进行扩容和缩容操作，灵活应对业务需求变化。建议在非业务高峰期进行操作，并做好操作前的备份工作。
原文链接：https://blog.csdn.net/gitblog_00826/article/details/148392899
一家开源原生的DataOps商业公司。 2022-03-18 加入
致力于打造下一代开源原生的DataOps 平台，助力企业在大数据和云时代，智能化地完成多数据源、多云及信创环境的数据集成、调度开发和治理，以提高企业解决数据问题的效率，提升企业分析洞察能力和决策能力。
评论