写点什么

etl engine cdc 模式有哪些应用场景

作者:weigeonlyyou
  • 2023-09-12
    吉林
  • 本文字数:618 字

    阅读完需:约 2 分钟

etl engine cdc 模式有哪些应用场景

etl-engine cdc 模式有哪些应用场景?

CDC 是什么

CDC 是 Change Data Capture(数据变更捕获)的缩写,是一种数据同步技术.常用于大量数据的备份工作,分为入侵式的和非入侵式的备份方法,入侵式的有基于触发器备份、基于时间戳备份、基于快照备份,非入侵式的备份方法是基于日志的备份,etl-engine 是基于日志方式进行捕获数据的变化.

技术实现

etl-engine 分别对 MySQL 和 PostgreSQL 实现了 CDC 监控能力。

  • 对 MySQL 基于 binlog 日志进行监控;


  • 对 PostgreSQL 基于 Wal 日志进行监控


应用场景


  • 主从复制 一主一从或一主多从,实时同步及备份,读写分离

  • 数据分发同一份数据分发到不同目标源,供多个应用系统使用数据接收过程中通过转换功能,额外输出大宽表,供 olap 系统使用

数据输出支持

etl-engine CDC 模式捕获的数据支持输出到 etl-engine 体系的所有输出组件中


  • 关系型数据库 Mysql、PostgreSQL、Oracle、Sqlite 等

  • 非关系型 Elastic、Redis 等

  • 消息中间件 Kafka、RocketMQ

  • 文件 CSV、Excel

参考资料

  [免费下载](https://github.com/hw2499/etl-engine/releases)  [etl-engine使用手册](https://github.com/hw2499/etl-engine)  [etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6)  [嵌入脚本开发](https://github.com/hw2499/etl-engine/wiki/B-%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)  [etl-engine配置样例](https://github.com/hw2499/etl-engine/wiki/etl-engine%E4%BD%BF%E7%94%A8%E6%A0%B7%E4%BE%8B)
复制代码


用户头像

weigeonlyyou

关注

还未添加个人签名 2022-12-26 加入

还未添加个人简介

评论

发布
暂无评论
etl engine cdc 模式有哪些应用场景_MySQL_weigeonlyyou_InfoQ写作社区