YMatrix v5.0 发布:138 项深度优化,重塑集群架构,实现性能及高可用性全方位提升!
10 月 26 日,YMatrix 正式发布全新 5.0 版本,这是 YMatrix 之旅的新里程碑!
在 5.0 版本中,我们关注全场景性能表现,包括写入能力、时序查询能力、单表 OLAP 分析、多表关联 OLAP 分析、Machine Learning 性能以及 OLTP 能力等方面,在生产场景下的写入速度实现了 1.52 亿数据点/秒。哪怕是对写入能力要求最高的时序场景,也可以轻松满足高并发、低延迟的写入需求。
同时,YMatrix 对比时序数据库独角兽 TimescaleDB,查询耗时是 YMatrix 的 5.1 倍;对比知名 OLAP 数据库产品 Clickhouse,YMatrix 在 SSB 基础测试上快 27%;对比 MPP 数据库主流厂商 Greenplum,YMatrix 在多表关联分析场景上实现了数倍的性能提升;对比全球流行的开源大数据平台 Spark,YMatrix 在机器学习场景上的性能是其 8 倍;在 Intel 实验室的 TPC-B 国际标准测试中,YMatrix 主键查询 tps 高达 160 万,数十倍于绝大多数产品。
这一次 YMatrix 5.0 在性能上得到重大突破,有 7 个值得重点关注的特性:
全新数据库架构
新增向量化执行引擎
MARS2 存储引擎性能大幅优化
新增编码链压缩算法
新增平滑扩容功能
新增数据迁移工具 mxshift
图形化界面升级
💡下载地址:ymatrix.cn/download
下面我们详细介绍 YMatrix 5.0 版本新特性,欢迎大家升级使用!
全新数据库架构
YMatrix 5 引入了 etcd 集群来管理数据库集群状态,实现了数据库集群主节点(Master)和主节点备用节点(Standby)的自动故障切换,同时加强了数据节点(Segment)的主(Primary)从(Mirror)副本自动故障切换。
同时,YMatrix 5 引入了面向服务的架构,使得数据库集群的安装、运行和维护更加简单方便。
YMatrix 面向服务的新架构图
新增集群管理工具:mxstart(启动一个 YMatrix 集群)、mxstop(停止一个 YMatrix 集群)、mxstate(查看一个 YMatrix 集群的状态)、mxrecover(恢复一个 YMatrix 集群)。
新增向量化执行引擎
向量化执行引擎是专门为面向列的存储引擎(如 MARS2,AOCO)打造的高性能执行引擎。对于常见查询,相比面向行处理的传统执行引擎有一到两个数量级的性能提升。
支持批处理:利用批处理的方式,可以有效减少函数调用等执行开销
充分利用硬件及编译器能力:使用 CPU 缓存友好的算法,从而充分利用硬件以及编译器的优化能力,如生成 SIMD(Single Instruction, Multiple Data)指令
支持多种算子:实现了 Scan、Sort、Aggregate 等算子,对于同一算子也有不同的算法实现,有效覆盖绝大部分查询场景,提升查询性能
基于以上三点核心原理,相比面向行处理的传统执行引擎,向量化执行引擎可实现 1 到 2 个数量级的性能提升。
MARS 2 存储性能大幅优化
优化压缩策略,降低内存使用量
优化分区表写入,降低内存使用量
优化查询过滤效果,减少不必要的 I/O 消耗
优化数据量估计,执行计划的选择更精准
增强聚合能力,支持 uniquemode 和 IN 表达式
修复 uniquemode 合并结果顺序问题
修复并行扫描快照对齐问题
修复一处内存泄漏
新增编码链压缩算法
支持多种编码、压缩算法:支持 lz4,zstd,simple8b,doubledelta,gorilla,deltazigzag,floatint 等编码、压缩算法,可灵活组合以上算法,以充分提升压缩率
支持按列自定义编码、压缩算法组合
配合向量化执行引擎使用提升数据压缩 / 解压速度:在 SSB 场景下解压速度是 LZ4 的 3 倍
编码链压缩方案可大幅减小空间占用,降低成本。在新能源汽车场景,压缩率是使用 LZ4 压缩算法方案的 3.9 倍,在 TSBS(Time Series Benchmark Suite)场景,是 LZ4 的 2.7 倍。
新增平滑扩容功能
支持不停机完成扩容任务
支持自定义数据节点集合(Segment Set),实现对部分表的重分布
支持并行执行表数据重分布
支持连接未重分布表与已重分布表
新增数据迁移工具 mxshift
支持全量迁移:以数据库为单位,实现从 Greenplum 5 / Greenplum 6/ YMatrix 集群并行迁移数据到新的 YMatrix 集群
支持反向迁移:从 YMatrix 到 Greenplum 5 / Greenplum 6 反向迁移
支持增量迁移:通过 WHERE 条件实现增量数据迁移
图形化界面升级
增加查询监控页面,支持自定义管理页面展示的慢查询信息,可一键终止慢查询
增加写入测试功能,一键体验 YMatrix 强大数据写入性能
增加查询测试功能,支持按照业务场景自定义查询测试方案,一键体验高并发场景下 YMatrix 强劲查询性能
以上是 YMatrix 5.0 新特性介绍,全新集群架构,全方位提升高可用性,业务零中断平滑扩容方案及数据迁移工具 mxshift 等多项易用性功能特性,感受 YMatrix 5.0 带来的全新使用体验!
更多细节,可以查看 YMatrix 5.0 文档 参阅!
本文为 YMatrix 原创内容,未经允许不得转载。
欲了解更多超融合时序数据库相关信息,请访问 “YMatrix 超融合数据库” 官方网站
版权声明: 本文为 InfoQ 作者【yMatrix】的原创文章。
原文链接:【http://xie.infoq.cn/article/0ba3e3e53c02e4e95b84941c4】。文章转载请联系作者。
评论