MatrixDB 4.3 新特性:从“持续聚集”说起
![MatrixDB 4.3 新特性:从“持续聚集”说起](https://static001.geekbang.org/infoq/e3/e319c0f970cb2b581e5a62405aef9da5.png)
![](https://static001.geekbang.org/infoq/77/77730285900068aedfaed551ed9526be.gif)
随着时序数据库近几年越来越火, MatrixDB 作为一款备受业内关注的国产时序数据库也不停的更新迭代。4.3 版本在兼容性及性能上得到提升外,还新增在时序场景中能达到快速查询的 —— “持续聚集”。
1.简介
在时序场景中,聚集查询一般是基于较大量级的数据集合,对其进行归纳分组聚合运算,是一种相对耗时的查询类别,多用于分析场景。时序场景对聚集查询的需求也越来越多,同时对聚集查询的响应时间要求也越来越高。
因此,在 MatrixDB 4.3 版本中推出 “持续聚集”,一种能快速响应聚集查询的机制。
2.持续聚集使用方法
1. 创建数据表
2. 基于数据表创建持续聚集视图
3. 向数据表插入数据
4. 查询持续聚集视图
从如上演示可以看到,持续聚集视图存储的是“创建聚集时聚合 SQL 语句聚集过的数据”,查询视图可以得到聚集后的结果,减少运算量。
3.实现方法
数据同步
普通视图只做查询重写,并不存储实际数据,而持续聚集所创建的视图相当于物化视图,是用于存储物理数据。所以,每次向原表插入新数据时,要同步到物化视图。
![](https://static001.geekbang.org/infoq/a6/a63fe5220b82ff8f8327843bbf9ae9f1.webp?x-oss-process=image/resize,p_80/format,jpg)
数据同步在内存中进行,为了保证数据插入的延时不会受同步到物化视图过程的影响,在实现时额外增加了进程来异步处理。
数据通过共享内存同步到后台进程,后台进程并行完成数据写入,以此降低时延。
![](https://static001.geekbang.org/infoq/39/39e9ba7ed698acbac0fa07ef7dcd45d9.webp?x-oss-process=image/resize,p_80/format,jpg)
存储引擎
持续聚集应用在聚集操作场景,通常都是按列分组后,做 SUM、COUNT、MAX、MIN 等聚集操作,数据同步到物化视图后,需要特殊的数据结构做优化处理,否则和从原表扫描数据做统计没有任何区别。
优化的本质是对已有的聚集结果做合并,减少数据集合数量;对增量数据做增量合并。要做合并,则需要数据有序存储。所以,持续聚集存储引擎核心技术可以归纳为:排序和归并。
为了存储的有序性,持续聚集在实现上使用了自研的存储引擎,和 Heap 类似,是将数据划分为 Block;不同的是,Block 内部的数据是有序存储的,Block 之间也通过链表构成了有序集合。
![](https://static001.geekbang.org/infoq/71/71271d3b6d8ce14d71d4c66f24b51842.webp?x-oss-process=image/resize,p_80/format,jpg)
基于如上存储,后台进程会在满足触发条件时,对排序后值相同的数据做归并,归并后存储数据量减少,查询性能提升。
![](https://static001.geekbang.org/infoq/95/951a0d2dd0752e93db3be7d2062422a0.webp?x-oss-process=image/resize,p_80/format,jpg)
聚集视图中,数据的归并是在后台进行的,执行器在执行对聚集视图的查询时,并不仅仅是简单的扫描,还要做数据再聚集。再聚集数据量会随着归并逐渐减少。
聚集数据分布
MatrixDB 是分布式数据库,数据分散在 segment 上存储,持续聚集的数据同步与排序归并也是在 segment 上独立完成,不存在跨节点的互通,也就是说物化视图的数据分布与原数据表的数据分布相同。
在对视图进行查询的时候,每个 QE 完成聚集结果后,到 QD 节点再做二阶段聚集。
![](https://static001.geekbang.org/infoq/cc/cc267a428b6ea672ad22986975a38ca6.webp?x-oss-process=image/resize,p_80/format,jpg)
维护方法
MatrixDB 提供对持续聚集进行维护的 UDF:
![](https://static001.geekbang.org/infoq/71/71b662bd01b8309acb423cde4c1f5a77.webp?x-oss-process=image/resize,p_80/format,jpg)
ANALYZE 物化视图,可以更新统计信息,有利于优化器做计算:
![](https://static001.geekbang.org/infoq/db/db8369cfee0125a8652e5d9518d45c99.webp?x-oss-process=image/resize,p_80/format,jpg)
![](https://static001.geekbang.org/infoq/23/23d576f1667be03e4c7ed43671e50519.webp?x-oss-process=image/resize,p_80/format,jpg)
VACUUM 物化视图,可以清理 Dead tuple,使空间重复利用;第二个参数为 true 会重建表文件、减少存储空间:
![](https://static001.geekbang.org/infoq/5f/5f85c3a309a86a1de2d2d4d888b14ac3.webp?x-oss-process=image/resize,p_80/format,jpg)
![](https://static001.geekbang.org/infoq/72/7274a1ebcc4e81bcd960afbebe21f326.webp?x-oss-process=image/resize,p_80/format,jpg)
重建物化视图,适用于源数据表做了更新删除,重新全量同步数据的场景:
![](https://static001.geekbang.org/infoq/b8/b8fb0e246ab54241f1418320add4507a.webp?x-oss-process=image/resize,p_80/format,jpg)
4.Q&A
物化视图的数据与源表是实时同步的吗?
是的,源表插入数据提交后,即可从物化视图查询到。
持续聚集可以保证 ACID 吗?
可以,物化视图中的数据与原表数据使用相同的事务 ID。
3. 如何处理更新删除 ?
原表的更新删除以及 DROP 并不会体现在持续聚集视图中,但支持 upsert 更新和非空最新值 last_not_null 聚合。
4. 持续聚集对窗口函数有效吗 ?
暂时不支持窗口函数。
持续聚集是否支持 partition 表?
支持。
6. 持续聚集是否支持多表聚集?
不支持。
7. 一张表可以定义多个持续聚集吗?
支持。
去官网下载,体验最新 MatrixDB 4.3 版本!
本文为 yMatrix 原创内容,未经允许不得转载。
欲了解更多超融合时序数据库相关信息,请访问 “yMatrix” 官方网站
版权声明: 本文为 InfoQ 作者【yMatrix】的原创文章。
原文链接:【http://xie.infoq.cn/article/857d323aac3fc5b2522d10769】。文章转载请联系作者。
评论