写点什么

Flink CDC

0 人感兴趣 · 2 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/3a/3aec66f65437fd08eabc551235390736.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

CDC ChangeLog Stream 实时流入 CLICKHOUSE 最佳姿势

用户头像
水滴
2022-10-25

通过batch option 可以支持攒批写入,避免频繁写入造成的性能下降问题;同时通过batchTime option兼顾数据实时性 将Flink的Retract Stream(回撤流)、Upsert Stream(更新-插入流)含有状态标记的数据流,写入到ClickHouse的 CollapsingMergeTree引擎表中。

生态对对碰丨详解 Flink CDC+OceanBase 全增量一体化数据集成方案

一般情况下,CDC 技术主要面向数据库的变更,用于捕获数据库中数据变更的技术。而 Flink CDC+ OceanBase 全增量一体化数据集成方案是将传统的数据库 CDC 技术跟 Flink 优秀的管道能力和丰富的上下游生态结合,将 CDC 数据通过加工后同步到下游,最终生成一个

Flink CDC_Flink CDC技术文章_InfoQ写作社区