七大关键技术,华为云数据库 GaussD 承载金融级核心系统
金融行业,尤其是银行业是对数据库依赖度极高、又对数据库要求最为严苛的行业。随着互联网及移动互联网技术的兴起,网上银行、手机银行、电子支付等新业态出现,高并发、海量数据、超高峰值等挑战接踵而至,导致数据资源存储、计算和应用等需求大幅提升。以往银行业务架构采用的大/小型机+集中式数据库的方案,已经难以满足对业务稳定性与连续性的要求。而分布式数据库可以满足金融行业高可靠、高性能、低成本、平滑扩展等需求,逐渐成为了金融行业打造核心竞争力的重要手段之一。
为了满足金融行业高扩展、高并发、高性能、高安全性等挑战,华为云推出了主打金融政企核心业务负载的分布式数据库旗舰产品——GaussDB,这是华为深度融合多年数据库领域经验,充分结合企业级场景需求,基于 openGauss 自研生态推出的企业级分布式关系型数据库。是什么样的特性使得 GaussDB 俘获了众多金融行业用户的心呢?这要从其关键技术说起。
首先是分布式执行框架。 业务应用下发 SQL 给 Coordinator,SQL 可以包含对数据的增(insert)、删(delete/drop)、改(update)、查(select)。Coordinator 利用数据库的优化器生成执行计划,每个 DN(Data Node)会按照执行计划的要求去处理数据。
GaussDB 分布式执行框架示意图
因为数据是通过一致性 Hash 技术均匀分布在每个节点,因此 DN 在处理数据的过程中,可能需要从其他 DN 获取数据,GaussDB 提供了三种 stream 流(广播流、聚合流和重分布流)来降低数据在 DN 节点间的流动。DN 将结果集返回给 Coodinator 进行汇总。Coordinator 将汇总后的结果返回给业务应用,从而提升复杂 SQL 查询的性能。
第二是 GTM-Lite 技术。 GTM-Lite 可以在保证事务全局强一致的同时,提供高性能的事务处理能力,避免了单 GTM 的性能瓶颈。这里的高性能事务管理指的是无锁、多版本、高并发事务技术。而且分布式的 GTM-Lite 方案提供全局事务快照和提交管理,实现强一致性,且无中心节点性能瓶颈。
第三个关键技术是基于 NUMA-Aware 实现高性能事务处理。 结合鲲鹏多核 CPU 架构优势,通过进行 NUMA 绑核、对全局数据结构进行 NUMA 分区改造,减少跨核处理和核间冲突,提升业务并行处理能力;充分利用鲲鹏原生 Atomic_LSE 指令,实现 NUMA-Aware 自旋锁,大幅降低指令数,有效提升指令效率,性能更强。
GaussDB NUMA-Aware 技术架构示意图
第四个关键技术是集群 HA,多层级冗余实现系统无单点故障。 GaussDB 通过硬件冗余、实例冗余、数据冗余,实现整个系统无单点故障,高可用。其中硬件高可用包括存储磁盘 RAID 冗余、网络双交换机冗余、多网卡冗余、主机 UPS 电源保护。软件高可用则包括协调节点 CN 实例多活冗余、数据节点/全局事务管理/ 集群管理器实例 Active-Standby 冗余。除此之外,GaussDB 还通过全量+增量备份,打造闪回和 PITR 等企业级能力,实现数据按需回退、任意时间点的数据恢复,最终进一步保障数据库的高可用。
第五个关键技术是跨 AZ/Region 容灾技术带来的高可用。 首先是集群内高可用,实现了数据不丢失和业务秒级中断。同城跨 AZ 容灾,数据不丢失,实现了分钟级恢复。
除了同城跨 AZ, GaussDB 还推出了同城双集群高可用方案,提供金融级高可用服务,支持 RPO=0 、RTO<60s 的同城双集群切换,主集群在出现故障的情况下,备集群还具备继续提供服务的能力,尽最大可能保障企业用户的核心业务 7x24 小时无中断。
第六个关键技术是 Scale-out 在线横向扩展带来高扩展。 GaussDB 支持单集群 1000+节点,节点扩展下能够获得卓越的性能线性比,同时节点扩容能够做到完全在线,对客户透明。节点扩容完成后 DN 数据自动重分布,CN 自动完成负载均衡。
GaussDB Scale-out 横向扩展示意图
第七个关键技术是一站式迁移解决方案。 GaussDB 基于数据库和应用迁移(UGO)和数据复制服务(DRS),从迁移评估、结构迁移、应用迁移、全量+增量数据迁移、数据一致性动态校验、流量回放等方面提供了一站式迁移上云方案,让客户上云更轻松、更高效。
华为云分布式数据库 GaussDB 深度结合了华为在数据库领域多年来的技术积累和实践经验,能满足客户高安全、高可靠、高性能、高扩展、智能化全方位需求,为金融机构提供功能全⾯、稳定可靠、扩展性强以及性能优越的企业级数据库服务。未来,GaussDB 也将继续发挥“技术强、更可靠、资源多、创新快”的技术和服务优势,助力金融机构安心上云,实现金融行业高效数字化转型!
评论