etl engine cdc 模式有哪些应用场景
etl-engine cdc 模式有哪些应用场景?
CDC 是什么
CDC 是 Change Data Capture(数据变更捕获)的缩写,是一种数据同步技术.常用于大量数据的备份工作,分为入侵式的和非入侵式的备份方法,入侵式的有基于触发器备份、基于时间戳备份、基于快照备份,非入侵式的备份方法是基于日志的备份,etl-engine 是基于日志方式进行捕获数据的变化.
技术实现
etl-engine 分别对 MySQL 和 PostgreSQL 实现了 CDC 监控能力。
对 MySQL 基于 binlog 日志进行监控;
对 PostgreSQL 基于 Wal 日志进行监控
应用场景
主从复制 一主一从或一主多从,实时同步及备份,读写分离
数据分发同一份数据分发到不同目标源,供多个应用系统使用数据接收过程中通过转换功能,额外输出大宽表,供 olap 系统使用
数据输出支持
etl-engine CDC 模式捕获的数据支持输出到 etl-engine 体系的所有输出组件中
关系型数据库 Mysql、PostgreSQL、Oracle、Sqlite 等
非关系型 Elastic、Redis 等
消息中间件 Kafka、RocketMQ
文件 CSV、Excel
参考资料
复制代码
评论