XSKY ClickHouse 如何实现存算分离



在介绍ClickHouse之前，说一下OLAP。OLAP也叫联机分析处理（Online Analytical Processing）。OLAP系统以维度模型来存储历史数据，其主要存储描述性的数据并且在结构上都是同质的。



01ClickHouse



OLAP应用有如下特点：



1、大多数的请求是读请求；



2、每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列；



3、宽表，即每个表包含着大量的列；



4、处理单个查询时需要高吞吐量（每个服务器每秒高达数十亿行）；



5、每一个查询除了一个大表外都很小；



6、查询结果明显小于源数据，换句话说，数据被过滤或聚合后能够被盛放在单台服务器的内存中。



OLAP引擎的痛点：



• SparkSQL & Hive性能不够快；

• Impala对内存要求高，需要依赖Hadoop生态软件和基础。




综上，市面上的OLAP引擎不够理想，这时，ClickHouse来了。ClickHouse由俄罗斯yandex公司开发，专为在线数据分析而设计，能够使用SQL查询生成实时数据报告，在2016年开源。



首先，也是ClickHouse最突出的优点：“快”。ClickHouse官方测试对比，1亿的数据集测试中，ClickHouse的性能，比Hive快259倍，比MySQL快801倍；





ClickHouse vs Vertica vs Greeplum



其次，ClickHouse足够轻量，不依赖Hadoop生态。除了解决上述的问题，ClickHouse还有如下优点：



1、列式存储+数据压缩；



2、并行和分布式查询；



3、支持SQL；



4、实时数据更新。



02存储需求



ClickHouse作为OLAP的新宠备受关注，国内大厂也纷纷跟进大规模使用。那么ClickHouse对存储有什么需求？



ClickHouse早期并没有走Hadoop生态，而是采用Local attached storage（本地存储）的存储方式，其可靠性通过原生支持shard + replication来保障。也可以通过RAID 5方式，来提高磁盘数据的可靠性和读取能力。



但ClickHouse存储毕竟不是专业存储，面临着以下几个问题：



1、在ClickHouse众多的表引擎中，又属合并树(MergeTree)表引擎及其家族系列(*MergeTree)最为强大，在生产环境绝大部分场景中都应该使用此系列的表引擎。ReplicatedMergeTree实现了ClickHouse的replication特性，需要依赖ZooKeeper实现分布式系统的协作，当并发写入量较大时，ZooKeeper对表元数据同步有延迟，会成为集群的瓶颈，降低集群整体性能；



2、当数据写入ClickHouse某个节点异常，导致副本间的数据不一致；



3、难扩容，难维护。



针对上述问题，XSKY为用户的ClickHouse需求打造了高可用的软件定义存储解决方案：



• 本身高可用的存储，去中心化设计，不会出现单个瓶颈的情况；

• 强一致性存储系统，保证数据一致性；

• 支持无限制横向扩展，使存储性能与容量同步线性增长，同时配合图形化的管理界面，解决运维问题。




03ClickHouse on S3



上面提到了MergerTree，这里说一下MergeTree在ClickHouse存储方式。默认情况下ClickHouse的数据存储在/var/lib/clickhouse/data目录下：





说明：



1、default：数据库名；



2、hdfs_engine_table：表名；



3、2a1dedbe81258ce26f3c450185e5550811_0：其中的一个part，每次插入数据就会生成一个part，part会不定时的merge成更大的一个part，每个part里的数据都是按照主键排序存储；



4、checksums.txt：校验值文件；



5、columns.txt：列名文件，记录了表中的所有列名；



6、x.bin：每一列的真实数据；



7、x.mrk2：每一列的mrk文件；



8、primary.idx：主键文件，存储了主键值。



早在去年的时候，ClickHouse社区就进了一个PR：https://github.com/ClickHouse/ClickHouse/pull/7946，关于支持S3&HDFS 的计划，并在之后陆续合入了DiskS3，终于在ClickHouse v20.4.2.9版本正式合入PR: https://github.com/ClickHouse/ClickHouse/pull/9646，MergeTree全面支持S3。



那么，怎么让ClickHouse的数据存储在S3上？仅需如下两个步骤即可：



一、创建存储配置



在/etc/clickhouse-server/config.d目录下创建配置文件并添加如下配置：





说明：



1、YOUR_ENDPOINT：对象存储的endpoint，如：10.0.x.x:8060；



2、BUCKET_NAME：桶名；



3、OBJECT_PREFIX：对象名前缀；



4、AK：对象用户的访问密钥；



5、SK：对象用户的秘密密钥。



二、创建MergeTree表



在创建表时设置上一步骤中创建的存储策略SETTINGS storage_policy = 's3'即可。





经过上述两个步骤就可以进行插入删除操作。



我们先来看看s3_table是怎么存储到对象存储上的？



如下，这么看跟普通的MergeTree没有区别？





其实真实的数据已经存储在对象存储上，比如：1_2_2_0/count.txt文件中记录着真正的位置。





可通过S3 Browser查看到指定目录下已存了真实数据。





04应用测试



如上讲述了如何使用对象存储存储ClickHouse的数据，下面就做一个简单的测试。这里使用航班飞行的真实数据。



说明：该ClickHouse环境为虚机测试环境，16G的内存，4核CPU，不能体现出性能，仅做功能测试。



1、通过如下命令下载2017年的飞行数据：





2、创建ontime数据库：





3、将下载好的数据导入到ClickHouse：





4、进行数据查询：



• 查看导入的数据量：






• 查询2017最受欢迎的目的地：






• 查询最受欢迎的出发城市：






05总结



近年来ClickHouse发展迅猛，除了其丰富的功能，优秀的性能，还有就是在当下不可忽视的数据量增长。XSKY对象存储可为企业提供全面的云存储安全服务，其可扩展的性能、先进的数据存储和管理功能，更重要的是能够实现ClickHouse的存算分离，让应用更加专注于应用。