腾讯云数据库 TDSQL:分布式数据库,你真的了解吗?
分布式数据库进入人们的视野已经很久了**。相对于传统的集中式数据库,分布式数据库在高性能、高可用、平滑拓展、高可靠、低成本等许多方面具有优势。**
但时至今日,关于分布式数据库,似乎一直缺少足够权威和客观的解读。
现在,国家白皮书来了!
为了明确分布式数据库的概念,梳理分布式数据库的技术体系和应用现状,对未来的技术和应用趋势进行研判,中国软件评测中心牵头组织了腾讯云等厂商参与,调研了国内主要分布式数据库产品厂商,并对部分产品进行了测评,参考了国内外主要研究机构的学术成果,历时半年共同编制了《分布式数据库发展路径研究》报告,为我国的分布式数据库产业和技术发展提供参考,为分布式数据库的发展路径提出建议。
以下是部分报告精华,关注「腾讯云数据库」公众号,回复“白皮书”,即可下载报告全文。
分布式数据库的概念及分类
根据目前我国分布式数据库技术现状,我们认为分布式数据库是具备分布式事务处理能力、可平滑扩展、分布于计算机网络且逻辑上统一的数据库。具有分布式事务处理,平滑拓展和物理分布、逻辑统一等特征。
为了保障跨多个节点的事务原子性、一致性,分布式数据库一般使用分布式协议来处理分布式事务。常用两阶段提交协议、三阶段提交协议保障事务的原子性;使用 Paxos、RAFT 等协议同步数据库事务日志从而保证分布式事务的一致性。
在存储技术上,比较常见的有复制和分区两种方式,采用无共享架构,保证数据库的高可用和低延时等。
按照对数据处理的不同方式,分布式数据库主要分为三类:联机事务处理、联机分析处理和混合事务分析处理。
联机事务处理(On-Line Transaction Processing, OLTP )是事件驱动、面向应用的,也称为面向交易的处理过程。其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作的快速响应。例如银行类、电子商务类的交易系统就是典型的 OLTP 系统。
联机分析处理(On-Line Analytical Processing,OLAP)是面向数据分析的,也称为面向信息分析处理过程。它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的。其特征是应对海量数据,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。例如数据仓库是典型的 OLAP 系统。
混合事务分析处理( Hybrid Transaction/Analytical Process,HTAP)由 Gartner 于 2014 年提出。目前 HTAP 方案主流大体有两个方向,根据 OLTP 和 OLAP 负载是否使用相同的节点或者引擎,分为统一架构和分离架构。HTAP 避免了繁琐且昂贵的 ETL(抽取、转换、加载)操作,而且可以更快地对最新数据进行分析。这种快速分析数据的能力将成,为未来企业的核心竞争力之一。
分布式数据库发展的现状及问题
分布式数据库发展至今,具备平滑拓展与高性能、容灾备份与高可靠、高可用和低成本等优势,同时已经在互联网和金融等领域有了成熟的案例。
以金融领域为例,2020 年 10 月 31 日,平安银行“A+信用卡核心系统”正式由腾讯云 TDSQL 分布式数据库承载。系统基于分布式架构,采用私有云和 PssS 平台建设,实现了应用微服务化,能够按客户维度进行分片,行方所有的客户的业务均可以在单个分片完成,包括交易授权、用卡业务,也包括行方的批量业务,通过 shard-nothing 分布式架构,可以实现透明水平扩容。
分布式数据库虽然具备独特技术应用优势,但其发展也面临一系列问题:应用系统面对分布式数据库的合理选择问题、遗留系统面对分布式数据库的迁移改造问题、分布式数据库运维管理较为复杂问题和分布式数据库产品成熟度有待提升问题(详情见报告正文)。
分布式数据库发展趋势
目前,国内绝大部分数据库企业均推出了分布式数据库产品,我国分布式数据库发展基本与国际同步,在一些技术指标和应用层面甚至处于领先水平。在未来,分布式数据库可能会朝着这些方向发展。
一、分布式数据库的产品化日趋成熟
随着国产分布式数据库在金融、互联网等重点行业中的应用,促使产品技术不断迭代,兼容性、易用性、可扩展性等问题将一一克服。未来随着分布式数据库等的标准体系及评价体系的健全,分布式数据库产品的生态体系也将逐渐完善,在运维保障、数据迁移、运行监测等方面的配套工具也将逐步成熟。
二、与人工智能等新技术融合实现高效运维
在数字经济的推动下,数据的全生命周期管理尤为重要,而分布式数据库数据通常由几十台至数千台服务器组成,数据库的运维显得尤为重要。随着人工智能技术的发展,将人工智能技术融入分布式数据库的全生命周期,实现自运维、自管理、自调优、故障自诊断和自愈,是未来发展的必然趋.势。另外,在交易、分析和混合负载场景下,可以通过人工智能的学习算法,实现数据库的自动调优。
三、分布式数据库的服务方式将向云化发展
云计算技术已在我国各行业信息化建设中大规模应用,为适应未来信创领域信息化建设技术方向,降低数据库运维成本,灵活调度资源,国内数据库厂商积极布局云数据库产品及服务。阿里云、腾讯云、华为等已经发布了基于自有云平台的云数据库产品,传统数据库厂商达梦也推出云数据库产品。总体上,国内云数据库与国际先进水平基本持平,为未来信创云数据库发展提供良好基础。
评论