写点什么

腾讯云为金融换“心“,TDSQL 的发展历程和特性

发布于: 2021 年 09 月 08 日

TDSQL 的发展历程

TDSQL 是针对金融联机交易场景推出的强一致性数据库解决方案,产品形态为一个数据库集群,具备高性能低成本、线性水平扩展、金融级高可用、企业级安全性、全球灵活部署、数据强一致性等特性,且兼容 MySQL 生态。截至目前,腾讯云 TDSQL 对外服务了微众银行、张家港农商行、富途证券,以及华夏银行等多家股份制银行,多家大型互联网创新保险公司等超过 600 家金融及政企客户。


TDSQL 的发展经历了以下几个阶段:


第一阶段:2000 年-2007 年


2000 年是腾讯金融数据库运用的开端,这一阶段腾讯主要是使用开源技术与自研结合的模式,研发成果主要应用于支撑米大师、财付通等腾讯内部金融级场景业务。期间 TDSQL 实现了分库分表、支持海量计费交易,具备数据强一致性、7*24 小时高可用性等特征。


第二阶段:2007 年-2012 年


这一阶段开始基于 NoSQL 走向完全自研,并实现弹性扩容、超高并发、超低时延,同时 TDSQL 产品走向标准化和规模化。


第三阶段:2012 年-2014 年


TDSQL 开始对外开放,服务外部客户。考虑到通用性和标准性的问题,进入基于开源定制化+自研的阶段,并将腾讯金融数据库命名为 TDSQL,帮助客户搭建分布式银行核心。2014 年,TDSQL 助力微众银行搭建首个分布式互联网银行,这是分布式数据库在互联网银行核心交易系统的应用首例,同时 TDSQL 也是腾讯第一款面向金融行业推出的数据库产品。


第四阶段:2014 年至今


进入深度开源定制化和完全自研阶段,TDSQL 上线腾讯云全面开放,并实现健壮的分布式事务支持,助力微众银行打造两地多中心多活架构并获得中国人民银行颁发的 2018 年度“银行科技发展奖”;以及助力张家港农商行成为全国首家将传统核心迁移到国产分布式数据库的传统银行(区别于互联网银行),实现核心数据库技术全面自主可控。

TDSQL 的整体架构

TDSQL 产品架构不仅仅包括数据库部分,还包括周边完善的配套机制和产品服务生态,总体包含资源池、存储节点、计算节点、自动化运营管理平台“赤兔”、智能 DBA 平台“扁鹊”、服务模块、调度系统、备份系统等,以及异构数据库多源迁移同步方案等。


资源池部分


我们建议用户用物理机去做底层部署,因为虚拟机在性能方面和稳定性上有所欠缺,且虚拟机若出现问题,在跨团队协作的工作模式下,很难定位到虚拟机的问题。


储存节点部分


有两种数据库,一种是 Noshard 数据库,是单机的 MySQL 高可用版本;另外一种就是分布式数据库集群。


计算节点部分


包括 OLTP 计算引擎和 OLAP 计算引擎,前者可以实现分布式事务和关联查询等,后者可以负责并行计算等。


最上层是赤兔运营管理平台和扁鹊智能 DBA 平台:“赤兔”平台是 TDSQL 提供的产品服务之一,它从管理员视角提供 TDSQL 的全部运维功能和上百项数据库状态监控指标的展示,让数据库管理员日常 90%以上的操作均可通过界面化完成,同时更方便定位排查问题;扁鹊系统是 TDSQL 面向云市场推出的一款针对数据库性能/故障等问题的自动化分析并为用户提供优化/解决方案的产品,它提供包括数据采集、实时检测、自动处理、性能检测与健康评估、SQL 性能分析、业务诊断等多种智能工具的集合。


另外还有相关的服务模块,例如审计服务、数据迁移、数据订阅等,调度系统和备份系统都在整体产品框架内,来完整支持客户运行使用 TDSQL。

TDSQL 的关键特性

TDSQL 具有数据强一致性、金融级高可用、高性能低成本、企业级安全、线性水平扩展、便捷运维等关键特征。


【数据强一致】


TDSQL 具有强一致性的特点,腾讯自主研发的强同步复制(Raft)技术,确保数据能实现跨机架、跨 IDC、跨城的数据可靠性,实现数据零丢失;解决半同步的问题,包括超时蜕化问题和高网络延迟下性能急剧下降问题。经过优化,目前在跨 IDC 的网络延迟下,TPS 强同步性能与异步性能相当,不会带来任何损耗。


【金融级高可用】


高可用性是另一关键特性。数据库拥有灵活的全球部署架构,轻松支持异地多活,合适的切换专家库切换原则从“不可用就切”,优化为“如果切过去会更好,才会切”,有效避免无效切换。任何一个数据中心发生故障,都可以无缝地、自动化地切换到另外一个数据中心继续服务。


【高性能低成本】


成本与性能方面,以张家港农商行为例,ISV 厂商在银行传统核心下测试对比的数据显示,与某传统集中式商业数据库相比,分布式架构的 TDSQL 在同等 TPS 情况下成本大概只有前者的 40%左右。


【企业级安全】


在安全方面,我们做到——事前传输加密,事中设置内核级的安全策略、内置 SQL 防火墙等,事后能够提供各种审计的日志,有运维操作审计、数据库审计和服务器审计等,充分保障安全。


【线性水平扩展】


线性的水平扩展性方面,TDSQL 具有超强的弹性拓展能力,采用自研的自动再均衡技术保证自动化的扩容和稳定,支持在线实时扩容,整个扩容过程对业务完全透明,无需业务停机。


【便捷运维】


在运营管理中,一个关键点就是出现问题后怎么能最快速找到问题。数据库同时在处理多个业务,我们怎么样去快速地定位到是哪台机器上出了问题,并且找到它最根本的原因?赤兔运营管理平台能提供上百项数据库监控指标曲线,数据库的各项状态、请求量指标一目了然。另外还有扁鹊系统,能通过多层次的数据搜集,提供故障诊断、性能优化,历史分析等功能服务。这些都能帮助用户快速定位、分析问题,最终解决问题,让用户放心使用。

TDSQL 的最佳实践

**在实践方面,我们有“两地三中心”和“两地四中心”等高可用架构部署方案。**在“两地三中心”架构下:深圳上海两级市中心,市内强同步复制,两市之间异步复制。在“两地四中心”构架下:在深圳同城三中心集群化部署,这样能简化同步策略,运营简单,并实现数据可用性、一致性高,单中心故障不影响数据服务,整个城市故障也可以自动切换到异地。


以张家港农商行为例,TDSQL 帮助用户搭建“两地三中心”高可用架构,可实现异地多活自动化容灾。成本方面,TDSQL 在硬件层面采用传统的 X86 服务器,取代了大型机、小型机。而近期上线核心系统的某商业银行,传统的商业数据库都采用大型机、小型机,综合硬件成本大概在 4000 万元到 5000 万元,系统处理能力大约为 8000TPS,而 TDSQL 相同性能规格的实例硬件成本不到 1000w, 综合降低硬件成本 75%以上,吞吐量达到了 6200 TPS,并且支持横向扩展。


加快核心系统数据库的分布式转型,为核心系统打造一颗健壮的“心”,是金融机构在数字化时代保持和提升竞争力的基础,是实现自主可控、降本增效的前提。腾讯云将秉承“用户为本、科技向善”的理念,致力于为金融机构提供核心系统数据库分布式转型的最佳方案和最优路径,加速金融机构分布式转型的进程,打造数字化时代的核心竞争力。

用户头像

还未添加个人签名 2018.12.08 加入

还未添加个人简介

评论

发布
暂无评论
腾讯云为金融换“心“,TDSQL的发展历程和特性