【用户投稿】手把手基于 Apache SeaTunnel 从 PostgreSQL 同步到 Doris
本文详细演示了如何通过 Apache SeaTunnel 2.3.9 实现 PostgreSQL 14.6 到 Apache Doris 3.0.3 的全量数据同步,涵盖从环境部署到生产验证的完整闭环,请各位小伙伴批评指正!
版本要求:
PostgreSQL --> Server 14.6
Apache SeaTunnel --> Apache-SeaTunnel-2.3.9
Apache Doris --> Apache-Doris-3.0.3
自行部署 Apache Doris
Apache Doris 1 台 Master 、2 台节点:
配置好每台的时间同步
配置好每台的文件句柄数
JAVA 选择
在 2.1(含)版本之前,请使用 Java 8,推荐版本:jdk-8u352 之后版本。
从 3.0(含)版本之后,请使用 Java 17,推荐版本:jdk-17.0.10 之后版本。
关闭 swap 分区
安装包下载
安装步骤
FE 集群部署
EF 配置文件,每个节点都可以使用同一个配置如何 java 路径一致的话。
启动 Master 节点
MySQL 工具登录 Doris 添加FE Follower
节点
启动 FE Follower
节点填写master-ip
和端口
查看 FE 状态

部署 BE 集群,其他所有节点都可以使用这个配置
在 Doris 中注册 BE 节点
启动 BE 进程
查看 BE 启动状态

验证集群正确性
修改 Doris 集群密码
创建测试表并插入数据
Doris 兼容 MySQL 协议,可以使用 INSERT 语句插入数据。
PostgreSQL 部署
关于 PostgreSQL 作者不做详细赘述,请各位自行前往官网安装......
SeaTunnel 部署
社区官网:
安装包下载:
https://seatunnel.apache.org/download/
手动下载连接器,然后将其移动至 connectors/目录下,如果是 2.3.5 之前则需要放入 connectors/seatunnel 目录下。
连接器下载地址:
https://repo.maven.apache.org/maven2/org/apache/seatunnel/

需要确保 JDBC 驱动 JAR 包 已放置在目录 ${SEATUNNEL_HOME}/lib/
中,在社区之前很多文章都提到过部署教程,如果操作不当出现一些小问题,请进入社区交流(SeaTunnel 部署还是很简单的)
使用 SeaTunnel 引擎快速开始:
PG 创建表
PG 追加数据
Doris 手动创建表结构
pg-doris.yaml
启动同步任务,多次执行,会重复数据。
Doris 验证是否同步成功?

大数据时代,选择比努力更重要。让 SeaTunnel 成为您数据流动的超级高速公路,Doris 化作实时洞察的智慧之眼,共同构建面向未来的数据驱动体系!
评论