写点什么

开讲!XTransfer 技术专家亮相 Flink CDC Meetup

作者:XTransfer技术
  • 2022 年 5 月 27 日
  • 本文字数:874 字

    阅读完需:约 3 分钟

背景信息:Flink CDC 是实时数据集成框架的开源代表,具有全增量一体化、无锁读取、并发读取、分布式架构等技术优势,在开源社区中非常受欢迎。

为促进 Flink CDC 技术的交流和发展,社区于 5 月 21 日在线举办“Flink CDC Meetup”,邀请众多大咖分享 Flink CDC 在各场景中的最佳实践、生产经验、技术原理等。

 

5 月 21 日,XTransfer 技术专家孙家宝参与“Flink CDC Meetup”线上直播活动,并作为 Flink CDC Maintainer 成员分享了《MongoDB CDC Connector 的实现原理和使用实践》。

 



XTransfer 专注于 B2B 跨境金融和风控服务。由于 B2B 类跨境支付场景涉及更为复杂的业务链路,从询盘到最终成交涉及资金流、信息流、物流等条款,需要在每个节点上做好风险管控,这对 XTransfer 的数据处理安全性和准确性都提出了极高的要求。

 

在业务初期,XTransfer 选择了传统的离线数仓架构,采用全量采集、批量处理、覆盖写入的数据集成方式。随着业务的发展,离线数仓越来越不能满足对数据时效性的要求,开始从离线数仓向实时数仓进行演进。

 


XTransfer 大数据风控基础设施架构

 

有赖于 Flink 强大的实时计算能力和丰富的外部系统接入能力,目前,XTransfer 已基于 Flink 搭建了大数据风控基础设施架构,能够保障在跨境 B2B 全链路上,数据可以被有效的采集、加工和计算,并满足高安全、低延迟、高精度的需求。

 


同时作为 Flink CDC 在跨境金融和风控服务领域的最佳实践,XTransfer 在 Flink CDC 基础上通过 MongoDB Change Streams 特性实现了 Flink MongoDB CDC Connector,并已贡献给 Flink CDC 社区。

 

由 XTransfer 技术团队贡献的 MongoDB CDC Connector 支持从 MongoDB 数据库获取全量历史数据和增量变更数据。借助 Flink 的集成能力,用户可以非常方便地将 MongoDB 中的数据实时同步到 Flink 支持的所有下游存储。

 

从开源中受益,并力所能及地反哺社区,是 XTransfer 技术团队所遵循的原则。目前,XTransfer 技术团队正在关注包括 Flink 在内多个领域的社区建设,接下来,XTransfer 将持续与社区保持互动,继续为社区发展做出贡献。

 

招聘链接:https://mp.weixin.qq.com/s/G2lppzUyQGhKyH0DUh8_ug

 

用户头像

Fintech 2021.11.11 加入

让全球中小企业惠享金融服务

评论

发布
暂无评论
开讲!XTransfer技术专家亮相Flink CDC Meetup_flink_XTransfer技术_InfoQ写作社区