“七大属性加持，三个全新升级组件”这个高性能利器有点厉害

关注

发布于: 2021 年 03 月 11 日

摘要：高性能利器！华为云 MRS ClickHouse 重磅推出！

华为云智能数据湖 MRS 服务即将上线 ClickHouse 高性能引擎集群，用户只需要几分钟，就可以轻松方便地一键式完成集群部署搭建，快速拥有 PB 级数据的秒级交互查询分析能力，帮助用户带来极致的性能体验！

ClickHouse 是最近这两年非常火的一款开源的分析型数据库，来自俄罗斯的 Yandex 公司，2016 年开源。它独立于 Hadoop 大数据体系，其最核心的特点是极致压缩率和极速查询性能，能为用户节约大量成本，同时创造更多收益。它提供了兼容标准 SQL 协议的接口，支持 JDBC、ODBC 驱动，使用 C++语言实现。当然它还有个宏伟的目标：成为世界上最快的分析型数据库，官方测试数据表明，ClickHouse 领先 Vertica 达 6 倍，领先 GreenPlum 达到 18 倍，更是比传统大数据引擎 Hive、Spark 等快了上百倍！

ClickHouse 是 Click Stream + Data WareHouse 的缩写，它起初应用于一款 Web 流量分析工具，基于页面的点击事件流，面向数据仓库进行 OLAP 分析。现在，ClickHouse 被广泛的应用于互联网广告、App 和 Web 流量、电信、金融、物联网等众多领域，非常适用于商业智能化应用场景。

01 手动挡集群模式升级

1.模糊的集群

在介绍之前，我们首先要有个思维转变，ClickHouse 集群和通常理解的集群是有差异的。比方说 Hadoop 集群由 2 个 NameNode 和多个 DataNode 组成的完备且独立的集群，业务可以直接交互访问；而对于多个 ClickHouse 节点组成的集群，它们是没有中心节点，更多的是一个静态资源池的概念，业务要使用 ClickHouse 集群模式，需要预先在各个节点的配置文件中定义 cluster 信息，等所有参与的节点达成共识，业务才可以正确的交互访问，也就是说配置文件中的 cluster 才是我们通常理解的“集群”概念。

2.真实的 cluster

常见的数据库系统，隐藏了表级以下的数据分区、副本存储等细节，用户是无感知的，而 ClickHouse 则要求用户主动来规划和定义数据分片（shard）、分区（partition）、副本（replica）位置等详细配置。它的这种类似“手动挡”的属性，给用户带来及其不友好的体验，所以 MRS 服务的 ClickHouse 实例对这些工作做了统一的打包处理，适配成了“自动挡”，实现了统一管理，灵活易用。具体部署形态上，一个 ClickHouse 实例将包含 3 个 Zookeeper 节点和多个 ClickHouse 节点，采用 Dedicated Replica 模式，数据双副本高可靠。

02 平滑的弹性扩容能力

随着业务的快速增长，面对集群存储容量或者 CPU 计算资源接近极限场景，MRS 服务提供了平滑的弹性扩容能力，快速的满足客户业务增长的诉求。在用户进行集群扩容新的 ClickHouse 节点时，MRS 提供了一键式数据 Balance 均衡工具，并把数据均衡的主动权交给用户，由用户根据业务的特点，自由决定数据均衡的方式和时间点，以便保障业务可用性，实现了更加平滑的扩容能力。

例如：

把负载高的节点从 ELB 中摘除，让负载（新数据）往新节点倾斜；
使用 MRS 提供的专业化工具重新均衡数据；
数据双写老化后自动切换；

03 多元的鲲鹏算力加持

面对鲲鹏生态快速发展，华为云也提供包含 X86、ARM 鲲鹏、昇腾在内的多样计算能力，支持从 IOT、大数据、到 AI 等多种技术，提供最佳的性能、性价比、能效比。得益于华为云鲲鹏处理器多核优势，MRS 的 ClickHouse 集群也支持华为自研 ARM 鲲鹏服务器，充分利用鲲鹏多核高并发能力，提供了芯片级的全栈自主优化能力，同时使用华为自研的操作系统 EulerOS、华为 JDK 及数据加速层，充分释放底层硬件算力，实现了高性价比。

04 灵活易用的配置管理

MRS 服务为用户提供了统一的集群管理页面，并将 ClickHouse 的实例配置向用户完全开放，用户可以根据自定义需求，灵活方便的通过可视化页面修改集群配置参数，包括增删 cluster、macros、storage 等信息。和其他 MRS 服务组件的配置一样，ClickHouse 配置也分成集群和节点两个层面，考虑到 ClickHouse 引擎特殊性，需要注意不要被覆盖。另外，需要引起特别注意是，有些高级配置建议只能由“高级”用户使用，否则可能会导致系统异常。

05 高可用 HA 部署架构

MRS 服务为用户提供了基于 ELB 的 HA 部署架构，可以将用户访问流量自动分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。如下图，客户端应用请求集群时，使用 ELB（Elastic Load Balance）来进行流量分发，通过 ELB 的轮询机制，写不同节点上的本地表（Local Table），读不同节点上的分布式表（Distributed Table），这样，无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。

06 丰富的监控运维能力

MRS 提供了丰富的 ClickHouse 集群监控和告警能力，实时发现系统异常，保障业务稳定运行。用户可以通过集群管理 Manager 的监控页面实时查看 ClickHouse 集群的运行概况，如健康、配置及角色实例状态统计等指标信息，同时还可以监控具体实例内部运行状态，包括：实时的读、写、数据库连接等多个维度的信息；此外，MRS 还可以与华为云消息通知服务(SMN)的消息服务系统对接，将告警信息通过短信或者邮件等形式推送给用户。用户可以自定义配置监控与告警阈值用于关注各指标的健康情况，当监控数据达到告警阈值，系统将自动触发告警，将异常信息以告警形式及时通知到用户。通过以上能力，MRS 可以帮助用户轻松运维，实时监控，实时发送告警，操作灵活，让用户更加省心省力。

07 可靠的安全防护能力

MRS 提供了 VPC 网络隔离、专属资源隔离、主机安全等完备的安全保障机制，保障了用户 ClickHouse 集群数据访问的安全可靠。具体如下：

VPC 网络隔离：在公有云部署环境中，MRS 通过 VPC 提供隔离的网络环境，保证集群的业务、管理的安全性。用户可以结合虚拟私有云 VPC 的子网划分、路由控制、安全组等功能，为用户提供高安全、高可靠的网络隔离环境。
专属资源隔离：在面向企业、政府、金融等客户，MRS 提供了计算、存储资源池以及网络、管控多级隔离的资源隔离部署方案，为客户打造了安全可靠、便捷的云上“头等舱”。具体模式包括：专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源等三种模式。
主机安全服务：MRS 支持与云上的安全服务集成，针对主机安全服务，做了兼容性测试，保证功能和性能不受影响的情况下，增强服务的安全能力，如支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等能力。

此次重磅推出华为云 MRS ClickHouse 全新升级大数据组件：

一、MRS 3.0.5 版本针对开源组件进行了大面积升级，提供最新能力，并在社区基础上对功能、性能、可靠性等方面进行了增强。

二、支持创建 ClickHouse 集群，具备平滑扩容、HA、鲲鹏加持、灵活配置、简单运维、安全可靠等能力。

三、本支持单集群跨 AZ 部署，提供全组件单集群跨 AZ 高可靠能力，保障单 AZ 故障，核心数据和计算任务不受影响。

案例分享

我们在华为云 MRS 服务上测试了 ClickHouse 官网的 Star Schema Benchmark 测试套，硬件配置：3 台 32 vCPU * 128GB 的虚机，1TB 的数据集，13 个查询 6 个在 1 秒以内返回，10 个在 5 秒内返回，全部查询 10 秒以内返回，性能表现非常突出！海量数据分析的低成本案例：

https://altinity.com/blog/2020/1/1/clickhouse-cost-efficiency-in-action-analyzing-500-billion-rows-on-an-intel-nuc

MRS 隆重推出的 ClickHouse 引擎，快速补齐了 MRS 服务在大数据实时分析领域的能力。同时相对用户自建集群，MRS ClickHouse 具备平滑扩容、HA、鲲鹏加持、灵活配置、简单运维、安全可靠等优势能力，将会成为用户在云上构建高性能海量数据分析仓库的首选。

同时作为一款新的重量级数据库引擎，我们还在持续学习和探索过程中，MRS 后面会持续从内核、服务化、生态端多个角度进行优化和改进，包括：鲲鹏指令集加速、安全鉴权、SQL 诊断、BI 工具集成、AI 融合高级特性等。

ClickHouse 全新规格隆重登场，开年采购季，新年新体验，最高立省 40242 元！