3.1.8<3.2.0<3.3.1，Apache DolphinScheduler 集群升级避坑指南
一、版本介绍
本人的是集群 3.1.8 因为 3.1.8 的一些漏洞才升级到 3.3.1，具体漏洞如下：
虽然上述漏洞也可以不用升级解决，但是 3.3.1 版本有更详细的权限管控资源便也升级了；3.3.1 版本机器启动方式变得更复杂了，但是集群功能变得更好用了，资源利用率提高了。
二、先升级到 3.2.0
先到官网下载对应安装包：
https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0
https://dolphinscheduler.apache.org/zh-cn/docs/3.3.1
升级到 3.2.0 很容易，如下：
2.1 解压安装包
先关闭集群，解压按转包
修改 bin/env/文件配置dolphinscheduler_env.shinstall_env.sh
2.2 驱动添加
MySQL、Oracle（看自己需求）驱动添加
2.3 更新升级脚本
执行数据库升级脚本：
2.4 资源迁移
3.2.0 版本资源中心重构，原资源中心内的资源将不受管理，您可以指定迁移到的目标租户，然后运行一次性资源迁移脚本，所有资源会迁移到目标租户的 .migrate 目录下。
示例：指定已存在目标租户 abc，其资源根目录为 /dolphinscheduler/abc/。
执行脚本：
执行结果：原文件资源 a/b.sh 迁移至 /dolphinscheduler/abc/resources/.migrate/a/b.sh。
原 UDF 资源x/y.jar迁移至/dolphinscheduler/abc/udf/.migrate/x/y.jar。
更新 UDF 函数绑定资源信息。
2.5 升级成功
这时候进数据库看看版本是否升级到 3.2.0
执行启动过程：
看看是否成功。
三、升级 3.3.1（比较复杂）
3.1 解压安装包
停止 dolphinscheduler 所有服务。
3.3.1 版本下载下来会发现安装包很小才 200 多 M，因为很多插件需要自己额外下载
3.2 驱动添加以及配置修改
3.2.1 驱动添加按照 2.2 添加即可
这里的 mysql 驱动要换成 8.0.16 以上 mysql-connector-java-8.0.16.jar
3.2.2 配置修改
3.2.2.1 时区修改
3.2.2.2 数据库明文密码修改成加密
3.3 下载插件依赖(需要连接外网)
work-server ->libs 下加入 2 个 jarhadoop-common-3.3.4.jarhtrace-core4-4.2.0-incubating.jar
3.4 更新升级脚本
3.5 资源迁移和血缘升级
参考官网添加链接描述：https://dolphinscheduler.apache.org/zh-cn/docs/3.3.1/guide/upgrade/upgrade
因为我没有资源和血缘，所以该步骤省略。
资源迁移 3.2.0 版本资源中心重构，原资源中心内的资源将不受管理，您可以指定迁移到的目标租户，然后运行一次性资源迁移脚本，所有资源会迁移到目标租户的 .migrate 目录下。
示例：指定已存在目标租户 abc，其资源根目录为 /dolphinscheduler/abc/。
执行脚本：sh ./tools/bin/migrate-resource.sh abc。
执行结果：
原文件资源 a/b.sh 迁移至 /dolphinscheduler/abc/resources/.migrate/a/b.sh。原 UDF 资源 x/y.jar 迁移至 /dolphinscheduler/abc/udf/.migrate/x/y.jar。更新 UDF 函数绑定资源信息。
血缘升级执行脚本：sh ./tools/bin/migrate-lineage.sh。
执行结果：
原血缘数据迁移至新血缘表 t_ds_workflow_task_lineage。此脚本仅执行 upsert 操作，不执行删除操作，如果需要删除，您可以手动删除。
3.6 集群部署
复制第一台机器文件到第二台和第三台/data/apache-dolphinscheduler-3.3.1-bin 挨个机器启动：
启动后 jps 看一下进程是否起来
看看 UI 的界面有没有问题
四、坑点
4.1 升级到 3.2.0 不小心把管理员密码给忘记了，重置密码，加密方式 3.3.1 之前都是 md5 加密，deepseek 说是 3.2.0 之后是 BCrypt 哈希值加密，是胡扯的。
原文链接：https://blog.csdn.net/weixin_48277834/article/details/151997830
一家开源原生的DataOps商业公司。 2022-03-18 加入
致力于打造下一代开源原生的DataOps 平台，助力企业在大数据和云时代，智能化地完成多数据源、多云及信创环境的数据集成、调度开发和治理，以提高企业解决数据问题的效率，提升企业分析洞察能力和决策能力。
评论