TiDB 是如何在国有大银行实现数据库业务“一换三”的
作者： TiDBer_ 小黑羊原文来源：https://tidb.net/blog/a46f24cd
最近，看到一个国有大银行的数据库案例，狠狠刷新了我的认知↓
三个“国外顶流数据库”没搞定的系统，竟然被一家国产数据库厂商拿下了。
可以说，这一次，国产数据库不仅打了翻身仗，还攀上了一个前所未有的高峰。
这事儿有多“离谱”？听我给你捋捋↓
一、500TB 数据，让三大顶流数据库集体躺平~
这是一个国有大行的真实案例，该银行总行核心领域多个系统有跨度长达 10 余年的联机交易数据。
先来看看这个让人头疼的架构图吧，涉及了大量数据应用和数据服务系统，三大国际顶流数据库、数仓工具共同撑着这摊子事儿。
-1703747696946.gif)
这些联机交易数据有多少呢？
总容量超过 500TB！存储在 Oracle、MongoDB、Hive 等多个数据库 / 数仓里。
这里面包括了个人 / 企业在该银行过去 10 年的存取款信息、交易流水，作为总行，你想象一下所有储户 10 多年的历史交易记录，有多大。
这些数据支撑着多个关键渠道类系统多维度交易信息查询、实时收支分析等重要系统，属于该银行核心交易领域服务属性最强、服务类型最综合的业务。
举个大家都懂的例子：比如你要查自己过去 5 年的银行存款流水↓
听起来很简单是吧，结果你会发现，大部分银行都不支持这个超长流水的实时查询。我刚试了另一家国有大银行，只能查询最近两年的流水，而且一次查询的跨度不超过 3 个月。
-1703747751095.png)
为啥，因为历史数据量太大了，后台数据库没法支持如此长周期、大跨度的数据访问。
即便是这家用了三大顶流产品的大行，反复折腾，也没法达到让人满意的结果：最大数据访问周期只能小于 5 年，数据跨度不能超过 1 年，有的业务甚至半年。
-1703747773265.png)
“三大数据库”都躺平了？是的！
我们拿这里面最能打的“O 记”为例，作为业界顶流的集中式数据库，单机实力爆棚，可以轻松驾驭数十 TB 甚至百 TB 级别结构化数据（比如绝大数核心交易场景）。
-1703747796377.png)
可是，数据量像现在这样达到 500 多 TB，这就有点超过了 O 记数据库的舒适区（* 当然人家也不是不能干，比如你砸个离谱的大价钱扛个顶配的 Exadata X10M 回来，没准儿也能搞定 *）。
这种极端场景，海量“联机 + 离线”数据，希望做到实时分析、检索，又不想付出贵到离谱的成本代价，基本上就是无解。
-1703747817828.gif)
比如在这个项目里，O 记数据库不可谓不努力：为了避免特大表对性能的影响，搞了大量“分表”动作。
把每半年的数据分一张表，搞出几十张表，不仅增加了系统复杂度，也直接限制了查询跨度（最大 6 个月）。
一顿操作猛如虎，但这些数据却始终没能盘活。
久而久之，这摊数据和相关应用，就变成了医不好的「死马」……
-1703747893723.gif)
二、国际顶流都扛不住，国产数据库凭啥顶这个雷？
一直这样“摆烂”？不可能！因为这些数据和上层的业务都太重要了。
于是，今年年初，这家大银行抱着“死马当成活马医”的心态，再次进行攻坚。
他们评估了市面上各类热门的数据库解决方案：MySQL 系的、PG 系的、全自研的、集中式的、分布式的、号称 O 记平替的…
-1703747984290.png)
最终，经过反复对比验证，这家国有大行选择了 TiDB 数据库。
我们先说结果吧，TiDB 成功把“死马”医成了“活马”，搞定了这件事。
-1703748004654.gif)
那么，TiDB 具体是如何搞定的呢？
我们先来草绘一下改造后的架构，是不是比之前简洁了很多？
-1703748030708.gif)
数据汇聚：TiDB 具备弹性扩展与高并发写入能力，支持基于消息中间件的实时汇聚和文件交换的离线加载，覆盖各种数据源。
数据加工：流批一体，流式计算基于 TiDB 的动态数据路由、原生分布式能力，与上层应用解耦；离线就计算基于 TiDB 的行列混合、MPP 能力，日均百 GB 增量数据快速导入，数十亿级数据聚合分析。
数据服务：利用 TiDB 的多维度数据访问能力，提供不同维度、灵活条件的高并发 T+0 数据查询、分析、推送和数据下发服务。
数据存储：基于 TiDB/TiKV 实现数据统一存储、冷热分离，加固性能与 SLA，优化成本。
这个新架构最大的改变，就是用 TiDB 实现了“一换三”，原来的“三大国际顶流”统统不见了。
整个数据服务层化繁为简，推倒了“数据烟囱”，提供一栈式综合服务，支撑各类数据应用。
-1703748070177.gif)
就这么简单？不，只能说 TiDB 的填坑能力太强，从一开始就切中了这类极端场景的两大关键点。
关键点一：HTAP ，混合事务 / 分析处理
因为银行里这些数据不只是陈年老记录，每天还要摄入海量的新交易数据。
要支撑海量的新数据摄入，同时还要实时分析处理，从而做出即时且正确的决策…，传统数仓干不了，传统数据库也扛不住。
-1703748138061.gif)
比如，大型银行需要在处理高并发交易事务的同时，检测出异常的欺诈交易。
这样的场景，就必须要靠 HTAP，也就是一站式架构混合支持实时交易和实时分析，让鱼和熊掌兼得。
而 TiDB 恰恰是 HTAP 架构数据库领域的标杆产品，所以应对这样的场景更加得心应手。
-1703748159591.gif)
关键点二：原生分布式数据库
这家大行现有的 500TB 数据量已经很夸张了，但未来日复一日年复一年数据会越来越多。
如果按照传统集中式数据库的思路，即便当下能扛住，未来也得趴窝。
因此，必须考虑分布式架构数据库↓
-1703748190296.png)
但是呢，分布式也有技术路线之分。
有些“分布式数据库”需要依赖分库分表中间件或者数据访问代理，事务处理、高可用能力都受限。
而且，分库分表的操作基于算法提供，无法真正自动扩容，需要人工干预。更要命的是，上层应用还要进行大量改造。
-1703748205179.png)
而 TiDB 则是真正的原生分布式数据库，存算分离，数据自动分片，自动弹性扩容，对上层应用零侵入。
这上下游还涉及几十个业务系统呢，如果要改造应用，那工作量可就太大了。
-1703748222286.gif)
“HTAP+ 原生分布式”，新架构中的四个层，每一层都是靠这两大绝技摆平的。
也正是凭借这两大绝技，TiDB 成功实现“一换三”，彻底将数据盘活！
三、“一换三”之后，效果到底怎么样？
以前经常看到一些江湖上“平替”的案例，谈起体验“酸爽”，大甲方们只能笑而不语。。
但 TiDB 这个“一换三”替代，没有酸，只有爽，效果简直炸裂↓
1、对接业务规模▼
TiDB 撑起的这套「一栈式综合数据服务平台」，总共对接了上下游近百个业务系统，数据覆盖全行近 230 个业务产品，超过 3000 个交易场景。
-1703748285015.gif)
2、系统资源规模▼
系统集群资源约 2,700+ 应用虚拟节点（承载上下游业务应用），300+ 数据库物理节点（承载数据）。
集群规模可以按需扩展。
-1703748310766.gif)
3、数据容量规模▼
原来 500TB 的单副本存量数据全部迁移到新系统，新系统采用可靠性更高的多副本设计，总数据规模达到 PB 级。
其中，最大数据表记录条目超过千亿行。
-1703748342400.gif)
4、查询与分析体验▼
新系统能够支撑超 10 年的永久查询和单次跨度 5 年的大范围查询及实时分析，交易数据完整性、准确性更高，数据统计口径更为统一，更炸裂的数据看下面。
-1703748370010.gif)
日均接收和加工亿级增量数据，联机写入 TPS 约 10000，日均通知推送约 3.5 亿笔，核心加工链路耗时控制在 5 秒内；
日均联机查询交易量超千万笔，峰值 QPS 超 50000，应用侧平均响应耗时在 100ms 内；
日均加载上千个批量文本，最大离线分析规模为基于 40 亿行原始明细产生约 4 亿行指标结果数据，并为多个下游系统提供数据下传和推送服务，包括反洗钱、有权机关等监管类场景。
5、金融级高可用▼
改造后的系统，采用两地三中心高可用架构，应用同城双活，双机房同时具备读写能力，确保了金融级生产系统的业务连续性。
在吞吐能力、弹性伸缩能力、部署密度、资源使用率方面都获得较大提升，实现了灵活高效的资源调配和精细化的降本增效。
-1703748443910.gif)
当然，还有绝对不能忽略一条↓
该大行通过采用 TiDB 方案，成功完成了这组核心系统的「国产化替代」。
-1703748462999.gif)
至此，我们终于可以说：
这座数据库应用的“珠穆朗玛峰”，TiDB 成功登顶了！
四、这些年，TiDB 爬过的那些山…
然而，你知道吗？TiDB 可是个超级登山选手。
人家不光会爬“珠穆朗玛峰”，这些年，国内的、国外的，各种“山头险峰”，TiDB 都爬完了。
-1703748499903.png)
我们就拿对数据库要求最苛刻的“国内金融山头”来举例吧↓
国内各大银行、保险、券商，到处都可以看到 TiDB 的足迹。
比如，今年 4 月，PingCAP(平凯星辰) 中标建设银行国产数据库小机下移项目。
-1703748516805.png)
这些年来，TiDB 成功应用于建设银行、浦发银行、北京银行、浙商银行、杭州银行、广发银行、中国人寿财险、平安科技、微众银行等多家金融企业的核心业务场景。
-1703748547131.gif)
-1703748555863.gif)
而平安集团旗下的平安科技，更是基于 TiDB 打造了平安自己的信创发行版数据库 UbiSQL，为生态内的企业赋能。
-1703748585657.png)
接下来，再看看国外那些“顶流山头”↓
从 Databricks 到 Pinterest，从 Bolt 到 Shopee，从 CAPCOM 到 Line…，TiDB 经受住了全球 3000 多家行业客户海量数据严苛场景的考验。
正是这些实战攀登经验，让 TiDB 如今在国内金融行业的极限挑战面前，可以举重若轻，最终成功登顶！
放眼业界，TiDB 可能是唯一个既服务国有大行也服务全球顶级互联网大厂的数据库产品，TiDB 8 年多坚持的自主开源路线，也是它的产品得到信任保持持续领先的法宝。
TiDB 与 PingCAP 的攀登之路，还在继续…
在其身后，是一系列闪光的足印：TiDB 项目在 GitHub 上获得超过 35000 颗星；TiDB 被超过 3000 家企业用于生产环境；服务客户超过 20 个国家…
-1703748805573.png)
TiDB 的“爬山”路上，还有很多标志性的事件。
比如，我刚刚看到了 TiDB 助力杭州银行全国产核心系统上线的消息，这可能是国内第一家城商行在核心系统采用「全国产微服务 + 原生分布式架构」的案例，绝对具有里程碑的意义。
雄关漫道，没有比脚更长的路，没有比人更高的山…
版权声明: 本文为 InfoQ 作者【TiDB 社区干货传送门】的原创文章。
原文链接:【http://xie.infoq.cn/article/c663c651edf9bbf1009d0ddd0】。文章转载请联系作者。
TiDB 社区官网:https://tidb.net/ 2021-12-15 加入
TiDB 社区干货传送门是由 TiDB 社区中布道师组委会自发组织的 TiDB 社区优质内容对外宣布的栏目，旨在加深 TiDBer 之间的交流和学习。一起构建有爱、互助、共创共建的 TiDB 社区 https://tidb.net/
评论