XTransfer 技术专家亮相 Flink Forward Asia 2022

Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会，本次大会介绍了 Flink 社区的最新动态和发展计划，包括 Flink Table Store 流批一体的新数仓架构、Flink CDC 全增量一体的数据集成、云原生时代的 Flink，也对国内外一线厂商围绕 Flink 生态的生产实践经验进行详细解读，是 Flink 开发者和使用者不可错过的盛会。在诸多合作伙伴的协助以及技术开发者的支持下，Flink Forward Asia 已成功举办 4 届，本届 Flink Forward Asia 于 2022 年 11 月 26-27 日在线上顺利举办。

11 月 27 日，XTransfer 技术专家孙家宝参与“Flink Forward Asia 2022”线上直播活动，并作为 Flink CDC Maintainer 成员分享了《Flink CDC & MongoDB 联合实时数仓的探索实践》。

本次分享包括 Flink CDC MongoDB Connector 在 Flink CDC 2.3 版本推出的增量快照读特性的实现原理，以及 FLIP-262 MongoDB Connector 的功能预览。通过这些 Connector，使得 Flink 能够在 MongoDB 上实现 CDC 读取、批量读取、Lookup 读取、Upsert 写入的能力，进而可以联合 MongoDB 实现轻量级的实时数仓。

Flink CDC 2.3 版本在近期发布，新增 Db2 数据源，MongoDB CDC 和 Oracle CDC 支持增量快照。XTransfer 技术团队深度参与了 MongoDB 增量快照读的贡献，对接增量快照读框架，使 MongoDB 也实现了并行增量快照的能力。

除了 Flink CDC，XTransfer 技术团队也参与了 Flink Connector 生态的完善，在 FLIP-262 中提议引进 MongoDB Connector，实现批量读取、Lookup 读取、 Upsert 写入的能力。目前，该提议正在快速推进中。

通过 Flink CDC MongoDB Connector 和 Flink MongoDB Connector，使得 Flink 在 MongoDB 上同时实现批式、流式的处理链路，也让 Flink 和 MongoDB 构建轻量级实时数仓成为了可能，使实时数仓的架构选型多了一份选择。

从开源中受益，并力所能及地反哺社区，是 XTransfer 技术团队所遵循的原则。由 XTransfer 技术团队贡献的 MongoDB CDC Connector，可以为 Flink 开发者和使用者在建设实时数仓时提供更为方便快捷的路径。

目前，XTransfer 技术团队正在关注包括 Flink 在内多个领域的社区建设，接下来，XTransfer 将持续与社区保持互动，继续为社区发展做出贡献。