写点什么

“七大属性加持,三个全新升级组件”这个高性能利器有点厉害

发布于: 2021 年 03 月 11 日

摘要:高性能利器!华为云 MRS ClickHouse 重磅推出!


华为云智能数据湖 MRS 服务即将上线 ClickHouse 高性能引擎集群,用户只需要几分钟,就可以轻松方便地一键式完成集群部署搭建,快速拥有 PB 级数据的秒级交互查询分析能力,帮助用户带来极致的性能体验!

ClickHouse 是最近这两年非常火的一款开源的分析型数据库,来自俄罗斯的 Yandex 公司,2016 年开源。它独立于 Hadoop 大数据体系,其最核心的特点是极致压缩率和极速查询性能,能为用户节约大量成本,同时创造更多收益。它提供了兼容标准 SQL 协议的接口,支持 JDBC、ODBC 驱动,使用 C++语言实现。当然它还有个宏伟的目标:成为世界上最快的分析型数据库,官方测试数据表明,ClickHouse 领先 Vertica 达 6 倍,领先 GreenPlum 达到 18 倍,更是比传统大数据引擎 Hive、Spark 等快了上百倍!


ClickHouse 是 Click Stream + Data WareHouse 的缩写,它起初应用于一款 Web 流量分析工具,基于页面的点击事件流,面向数据仓库进行 OLAP 分析。现在,ClickHouse 被广泛的应用于互联网广告、App 和 Web 流量、电信、金融、物联网等众多领域,非常适用于商业智能化应用场景。

01 手动挡集群模式升级


1.模糊的集群


在介绍之前,我们首先要有个思维转变,ClickHouse 集群和通常理解的集群是有差异的。比方说 Hadoop 集群由 2 个 NameNode 和多个 DataNode 组成的完备且独立的集群,业务可以直接交互访问;而对于多个 ClickHouse 节点组成的集群,它们是没有中心节点,更多的是一个静态资源池的概念,业务要使用 ClickHouse 集群模式,需要预先在各个节点的配置文件中定义 cluster 信息,等所有参与的节点达成共识,业务才可以正确的交互访问,也就是说配置文件中的 cluster 才是我们通常理解的“集群”概念。



2.真实的 cluster


常见的数据库系统,隐藏了表级以下的数据分区、副本存储等细节,用户是无感知的,而 ClickHouse 则要求用户主动来规划和定义数据分片(shard)、分区(partition)、副本(replica)位置等详细配置。它的这种类似“手动挡”的属性,给用户带来及其不友好的体验,所以 MRS 服务的 ClickHouse 实例对这些工作做了统一的打包处理,适配成了“自动挡”,实现了统一管理,灵活易用。具体部署形态上,一个 ClickHouse 实例将包含 3 个 Zookeeper 节点和多个 ClickHouse 节点,采用 Dedicated Replica 模式,数据双副本高可靠。



02 平滑的弹性扩容能力


随着业务的快速增长,面对集群存储容量或者 CPU 计算资源接近极限场景,MRS 服务提供了平滑的弹性扩容能力,快速的满足客户业务增长的诉求。在用户进行集群扩容新的 ClickHouse 节点时,MRS 提供了一键式数据 Balance 均衡工具,并把数据均衡的主动权交给用户,由用户根据业务的特点,自由决定数据均衡的方式和时间点,以便保障业务可用性,实现了更加平滑的扩容能力。


例如:

  • 把负载高的节点从 ELB 中摘除,让负载(新数据)往新节点倾斜;

  • 使用 MRS 提供的专业化工具重新均衡数据;

  • 数据双写老化后自动切换;


03 多元的鲲鹏算力加持


面对鲲鹏生态快速发展,华为云也提供包含 X86、ARM 鲲鹏、昇腾在内的多样计算能力,支持从 IOT、大数据、到 AI 等多种技术,提供最佳的性能、性价比、能效比。得益于华为云鲲鹏处理器多核优势,MRS 的 ClickHouse 集群也支持华为自研 ARM 鲲鹏服务器,充分利用鲲鹏多核高并发能力,提供了芯片级的全栈自主优化能力,同时使用华为自研的操作系统 EulerOS、华为 JDK 及数据加速层,充分释放底层硬件算力,实现了高性价比。

04 灵活易用的配置管理


MRS 服务为用户提供了统一的集群管理页面,并将 ClickHouse 的实例配置向用户完全开放,用户可以根据自定义需求,灵活方便的通过可视化页面修改集群配置参数,包括增删 cluster、macros、storage 等信息。和其他 MRS 服务组件的配置一样,ClickHouse 配置也分成集群和节点两个层面,考虑到 ClickHouse 引擎特殊性,需要注意不要被覆盖。另外,需要引起特别注意是,有些高级配置建议只能由“高级”用户使用,否则可能会导致系统异常。

05 高可用 HA 部署架构


MRS 服务为用户提供了基于 ELB 的 HA 部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。如下图,客户端应用请求集群时,使用 ELB(Elastic Load Balance)来进行流量分发,通过 ELB 的轮询机制,写不同节点上的本地表(Local Table),读不同节点上的分布式表(Distributed Table),这样,无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。

06 丰富的监控运维能力


MRS 提供了丰富的 ClickHouse 集群监控和告警能力,实时发现系统异常,保障业务稳定运行。用户可以通过集群管理 Manager 的监控页面实时查看 ClickHouse 集群的运行概况,如健康、配置及角色实例状态统计等指标信息,同时还可以监控具体实例内部运行状态,包括:实时的读、写、数据库连接等多个维度的信息;此外,MRS 还可以与华为云消息通知服务(SMN)的消息服务系统对接,将告警信息通过短信或者邮件等形式推送给用户。用户可以自定义配置监控与告警阈值用于关注各指标的健康情况,当监控数据达到告警阈值,系统将自动触发告警,将异常信息以告警形式及时通知到用户。通过以上能力,MRS 可以帮助用户轻松运维,实时监控,实时发送告警,操作灵活,让用户更加省心省力。

07 可靠的安全防护能力


MRS 提供了 VPC 网络隔离、专属资源隔离、主机安全等完备的安全保障机制,保障了用户 ClickHouse 集群数据访问的安全可靠。具体如下:


  • VPC 网络隔离:在公有云部署环境中,MRS 通过 VPC 提供隔离的网络环境,保证集群的业务、管理的安全性。用户可以结合虚拟私有云 VPC 的子网划分、路由控制、安全组等功能,为用户提供高安全、高可靠的网络隔离环境。

  • 专属资源隔离:在面向企业、政府、金融等客户,MRS 提供了计算、存储资源池以及网络、管控多级隔离的资源隔离部署方案,为客户打造了安全可靠、便捷的云上“头等舱”。具体模式包括:专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源等三种模式。

  • 主机安全服务:MRS 支持与云上的安全服务集成,针对主机安全服务,做了兼容性测试,保证功能和性能不受影响的情况下,增强服务的安全能力,如支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等能力。


此次重磅推出华为云 MRS ClickHouse 全新升级大数据组件:

一、MRS 3.0.5 版本针对开源组件进行了大面积升级,提供最新能力,并在社区基础上对功能、性能、可靠性等方面进行了增强。

、支持创建 ClickHouse 集群,具备平滑扩容、HA、鲲鹏加持、灵活配置、简单运维、安全可靠等能力。

三、本支持单集群跨 AZ 部署,提供全组件单集群跨 AZ 高可靠能力,保障单 AZ 故障,核心数据和计算任务不受影响。

 

案例分享

我们在华为云 MRS 服务上测试了 ClickHouse 官网的 Star Schema Benchmark 测试套,硬件配置:3 台 32 vCPU * 128GB 的虚机,1TB 的数据集,13 个查询 6 个在 1 秒以内返回,10 个在 5 秒内返回,全部查询 10 秒以内返回,性能表现非常突出!海量数据分析的低成本案例:

https://altinity.com/blog/2020/1/1/clickhouse-cost-efficiency-in-action-analyzing-500-billion-rows-on-an-intel-nuc 

 

MRS 隆重推出的 ClickHouse 引擎,快速补齐了 MRS 服务在大数据实时分析领域的能力。同时相对用户自建集群,MRS ClickHouse 具备平滑扩容、HA、鲲鹏加持、灵活配置、简单运维、安全可靠等优势能力,将会成为用户在云上构建高性能海量数据分析仓库的首选


同时作为一款新的重量级数据库引擎,我们还在持续学习和探索过程中,MRS 后面会持续从内核、服务化、生态端多个角度进行优化和改进,包括:鲲鹏指令集加速、安全鉴权、SQL 诊断、BI 工具集成、AI 融合高级特性等。


ClickHouse 全新规格隆重登场,开年采购季,新年新体验,最高立省 40242 元



点击关注,第一时间了解华为云新鲜技术~


发布于: 2021 年 03 月 11 日阅读数: 54
用户头像

提供全面深入的云计算技术干货 2020.07.14 加入

华为云开发者社区,提供全面深入的云计算前景分析、丰富的技术干货、程序样例,分享华为云前沿资讯动态,方便开发者快速成长与发展,欢迎提问、互动,多方位了解云计算! 传送门:https://bbs.huaweicloud.com/

评论

发布
暂无评论
“七大属性加持,三个全新升级组件”这个高性能利器有点厉害