开讲!XTransfer 技术专家亮相 Flink CDC Meetup
背景信息:Flink CDC 是实时数据集成框架的开源代表,具有全增量一体化、无锁读取、并发读取、分布式架构等技术优势,在开源社区中非常受欢迎。
为促进 Flink CDC 技术的交流和发展,社区于 5 月 21 日在线举办“Flink CDC Meetup”,邀请众多大咖分享 Flink CDC 在各场景中的最佳实践、生产经验、技术原理等。
5 月 21 日,XTransfer 技术专家孙家宝参与“Flink CDC Meetup”线上直播活动,并作为 Flink CDC Maintainer 成员分享了《MongoDB CDC Connector 的实现原理和使用实践》。
XTransfer 专注于 B2B 跨境金融和风控服务。由于 B2B 类跨境支付场景涉及更为复杂的业务链路,从询盘到最终成交涉及资金流、信息流、物流等条款,需要在每个节点上做好风险管控,这对 XTransfer 的数据处理安全性和准确性都提出了极高的要求。
在业务初期,XTransfer 选择了传统的离线数仓架构,采用全量采集、批量处理、覆盖写入的数据集成方式。随着业务的发展,离线数仓越来越不能满足对数据时效性的要求,开始从离线数仓向实时数仓进行演进。
XTransfer 大数据风控基础设施架构
有赖于 Flink 强大的实时计算能力和丰富的外部系统接入能力,目前,XTransfer 已基于 Flink 搭建了大数据风控基础设施架构,能够保障在跨境 B2B 全链路上,数据可以被有效的采集、加工和计算,并满足高安全、低延迟、高精度的需求。
同时作为 Flink CDC 在跨境金融和风控服务领域的最佳实践,XTransfer 在 Flink CDC 基础上通过 MongoDB Change Streams 特性实现了 Flink MongoDB CDC Connector,并已贡献给 Flink CDC 社区。
由 XTransfer 技术团队贡献的 MongoDB CDC Connector 支持从 MongoDB 数据库获取全量历史数据和增量变更数据。借助 Flink 的集成能力,用户可以非常方便地将 MongoDB 中的数据实时同步到 Flink 支持的所有下游存储。
从开源中受益,并力所能及地反哺社区,是 XTransfer 技术团队所遵循的原则。目前,XTransfer 技术团队正在关注包括 Flink 在内多个领域的社区建设,接下来,XTransfer 将持续与社区保持互动,继续为社区发展做出贡献。
招聘链接:https://mp.weixin.qq.com/s/G2lppzUyQGhKyH0DUh8_ug
评论