精彩回顾|从架构到实践,AntDB 融合型数据库揭秘
当今社会中的信息除了“多”,人们对于“效率”和“速度”的要求也越来越高。譬如,对于很多企业决策者来说,在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯,现在慢慢转变为实时可视化分析企业当前的经营状况。
基于此,亚信安慧 AntDB 融合型数据库,为了支持用户对“实时性”的更高要求,通过原生的“流数据处理引擎”,从内核层面将流式计算与数据库进行了融合与创新。
11 月 3 日-5 日,由中国开源软件推进联盟 PG 分会(简称 PG 分会)主办的 “2023 中国 PostgreSQL 数据库生态大会”圆满落幕。会上,亚信安慧 AntDB-T 负责人洪建辉先生,带来了《AntDB 融合型数据库:实时流数据处理引擎揭秘》的主题演讲。
以下为该活动的部分演讲内容:
流式数据库的价值和挑战
流式处理数据库是一种专门设计用于处理大量实时流数据的数据库,是实时分析、风险监控、网络检测和物联网 (IoT) 等延迟关键型应用程序的理想选择。但在过去几十年里,数据库作为信息的核心载体,对于实时数据的处理能力,却是建立在数据库引擎之外的。
因此,数据库融入流式数据处理能力,可以通过 SQL+触发器对实时数据的处理逻辑与拓扑进行定义,是这几年行业中提出的全新课题。
在亚信安慧 AntDB 发展的十几年历程中,我们看到运营商大量对核心数据处理加工的业务场景。这些需求中有些能够很容易地使用传统技术满足,但还有一些一定需要采用流式计算等实时处理能力才能支持。
AntDB 流式实时数仓是如何工作的?
流数据处理模式与传统数据库的内核设计有着极大的区别。其核心本质在于,传统数据库架构设计中,应用与数据库之间是“请求-响应“的关系,既业务发起 SQL 请求,数据库随即执行请求并返回结果。而流处理内核则是“订阅-推送“的模式,可以实时处理、实时推送结果给下游应用进行展示或入库。
亚信安慧 AntDB 做了大量从零开始的创新性探索与研究,于 2022 年底推出 AntDB-S 实时实时数仓,彻底将流式计算与传统交易、分析型数据存储进行了融合,让用户可以在数据库引擎内,通过标准 SQL 自由定义数据的结构以及实时处理逻辑。
AntDB 流数据库的功能优势
技术堆栈简化:在实时流事件的处理上,AntDB 流式处理一体引擎将大量的实时数据处理做到数仓内部,更进一步向通用事务靠拢。
标准 SQL 定义:传统流处理方式对于 SQL 的处理很弱,还要写大量业务代码,而 AntDB-S 可以通过统一 SQL 语句进行处理,流的使用上更便捷。
统一数据接口:支持流批模式的转换,AntDB 统一超融架构,实现了对外的接口统一,数据的采集与处理无需分开,流批都用 SQL 即可全部搞定。
支持完整事务处理:传统流处理过程中不支持数据的修改,AntDB-S 支持流处理中对数据的修改和事务操作。
实时结果更准确:通过分布式事务的 ACID 特性,解决实时流数据处理中,数据容灾和一致性的问题,可以精确判断数据故障点,完成流事件的矫正计算和重统计。
AntDB 流数据库功能架构拆解
由上图可以看出,流数据库是把流处理功能融合进 AntDB-T 的 SQL 引擎中;把流数据的存储融合进 AntDB-T 的存储引擎;把流处理的进程体系结构融合进 AntDB-T 的进程体系结构中。
这样的超融合结构会带来以下几点优势:
(1)技术栈简单,稳定性好。
(2)学习和维护成本低,只需掌握数据库的使用和维护即可。
(3)完全用 SQL 操作所有功能,使用简单方便。SQL 是被实践证明了的最好的数据处理语言,能够快速响应业务的复杂多变性。
(4)流数据处理支持数据 UPDATE 和 DELETE、事务 ACID、且可以流表 JOIN。
关于 AntDB 数据库
AntDB 数据库始于 2008 年,在运营商的核心系统上,为全国 24 个省份的 10 亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。
评论