openGauss 的高效数据压缩算法

2023-08-01
北京
本文字数：1641 字
阅读完需：约 5 分钟

1、实现背景

1.1 背景

随着大数据、云计算、物联网的急速发展，数据量呈指数级增长，因此需要消耗更多的存储空间。客户对数据库性能和资源的消耗也愈发看重，期望通过算法优化和软件优化尽可能的对有限的硬件资源进行充分且高效的利用。其中数据的存储资源利用率首先成为行业关注的焦点。高效数据压缩算法作为对数据库存储的优化，期望通过将数据压缩存储，在相同的硬件资源下可以更多的存储处理数据，有效提升数据库对磁盘的利用。

1.2 现有技术

目前主流的数据库厂家都有自己特有的压缩方案，在此基础上 openGauss 进一步探索压缩比更高的算法方案。

MySQL 的透明压缩，利用文件系统的打洞技术（文件系统特性，打洞单位是 4K），单个 page 的所有数据在落盘前，先交给 zlib 或者 lz4、zstd 等通用压缩算法进行压缩，再将压缩后的数据存储到原始地址，后面节省出来的空间就可以进行打洞处理。优点就是实现方便。缺点是在 Linux 上打洞单位是 4K，且 page 大小为 32K 和 64K 时候不支持压缩，最大是 16K 的 page 支持这种压缩，因此，压缩比最大能到 4：1，这个也达到压缩极限。

Oracle 的字典压缩，在块级别（page 概念）创建行字段的字典，字段存储字典元素的引用。发生更新，插入，删除操作的时候，通过一个阈值控制是否进行压缩。他压缩算法在理解上是基于存储块的字典压缩算法，在页面内维护一块符号表，所有操作都基于此符号表做变换及逆变换，实现复杂。优点在于不依赖于文件系统。缺点是字典压缩很容易受到数据本身特征的影响，如果是重复度不高的数据，压缩率就很低。

2、openGauss 高效数据压缩算法

2.1 主要创新技术点

openGauss 的主要创新技术点总结如下：

（一）改进压缩算法，压缩数据单位依然是选择页级别，进一步结合 Page 结构以及本身数据的特征，将 page 交给通用压缩算法前，先将 Page 按照字节级别进行有序转换、或者是多页联合重组、或者是差分预处理，这样能获得更高的压缩率，且这一步预处理几乎不会带来多大的性能损耗。

（二）压缩存储块管理，单个页面压缩后的压缩块以 chunk 为粒度进行存储，然后将存储结果和页面的映射关系进行管理，因此相对于压缩页面需要在内存和磁盘之间加一层映射关系管理，记录页面压缩块与 chunk 存储单元之前的关系，我们称之为压缩页面地址管理（pca），对应的将记录压缩块 chunk 的页面称为压缩页面数据管理（pcd）。非压缩页面的页面号与存储资源 block 是一一对应的，不需要单独管理。Pca 中不但要记录每个页面的压缩块使用了哪些 chunk 资源块，而且记录了 chunk 资源块的排列顺序，在页面访问时都先通过查询地址管理页面才能找到压缩块的存储位置。由于使用了更小的 chunk，将每个页面节省的空间累积在一起，通过打洞方式返还给操作系统。

2.2 功能实现

在 page 页面落盘之前，根据条件(是否多页联动、差分预处理等)选择相应压缩算法，对单页面 page 进行压缩，压缩后至少需要一个 chunk 来存储，以 page 大小 8K 为例，选择 4K，2K，1K，0.5K 的压缩后理论上限分别为 50%、25%、12.5%，6.25%。同时 chunk 的个数也决定了每个页面压缩后的大小不是连续变化的，而是以 chunk 大小阶跃变化。同时以一个 ext 单元的形式进行存储，一个 ext 单元由 128 个 pcd 数据页面和 1 个 pca 映射页面组成。Pcd 数据页面预划分为 8k，即使不进行压缩，存储单元也足够存储。将压缩后的 chunk 块存储在每个 pcd 页面，将剩余的空间进行打洞反还给操作系统。将映射消息记录在 pca 页面，为 pca 页面建立 pcabuffer 缓存，方便快速访问。