写点什么

KunlunBase 指导手册(二)对等部署最佳实践

作者:KunlunBase
  • 2022 年 7 月 12 日
  • 本文字数:1778 字

    阅读完需:约 6 分钟

一、了解对等部署

KunlunBase 是计算 &存储分离的分布式数据库,支持海量数据处理,可以解决传统数据库分库 &分表带来的复杂性问题。


KunlunBase 的核心组件如下图所示,由计算引擎和存储引擎组成。



计算引擎主要负责数据处理计算,是 CPU 资源密集型服务器,而存储引擎是 IO 资源密集型服务器,在实际生产环境部署过程中,可以将计算引擎和存储引擎部署在同一台服务器上,以获得资源的有效利用,同时通过不同节点间的组件冗余来实现高可靠性。


典型的对等部署结构下图所示:



KunlunBase 集群服务数量没有限制,对等部署架构的特点是计算节点与存储节点并存于同一台物理服务器内,每台服务器既运行计算节点,同时也运行存储节点。


对于多副本 Shard,主从副本不能位于同一台服务器内,而应该对等的分布在其他的服务器里。


**1.1 **KunlunServer(计算节点)


计算节点运行无状态计算 &查询引擎,与存储进行交互执行 SQL 任务,采用异步通信模式,计算节点不但可以本机上的存储节点交互,也可以通过网络与对接节点上其他的存储节点交互进行数据处理。


客户应用程序可以连接到任意一台计算节点执行 KunlunBase 集群的数据处理任务。


**1.2 **KunlunStorage(存储节点)


存储节点由多个存储分片(Shard)组成,Shard 的主从副本对等分布在可用的服务器中,每台服务器的存储节点是由某个 Shard 的主副本及其他 Shard 的从副本组成。


对等部署的好处:


有效利用服务器硬件资源


组件在服务器之间相互冗余提高系统可靠性


方便扩容,灵活扩展

二、对等部署指南

**2.1 **资源准备:在对等部署方案中,各台服务的硬件配置应该一致, 操作系统及版本一致,服务器之间的网络带宽建议是千兆或以上。


**2.2 **每台服务器的运行一个计算节点。


**2.3 **集群的 Shard 个数不应该超过服务器的数量,每台服务器只能运行集群的一个 Shard 的主节点。每个 Shard 的主从副本的参数配置应用一致。不同 Shard 的参数配置可以根据业务需求做个性配置。


**2.4 **每个 Shard 的副本数量可以根据业务需求定义,KunlunBase 集群对副本数量没有限制,但从可靠性考虑,建议每个 shard 最少 3 个副本,副本数量不超过可用的机器数量。


**2.5 **在配置,建议主从副本不要运行在同一台服务器内。


**2.6 **管理组件及其他组件:


  • 元数据集群:建议部署为一主两从的高可用模式,暂用资源较少,可根据现网情况选择相应服务器部署。

  • 集群管理器:建议部署为一主两从的高可用模式,暂用资源较少,可根据现网情况选择相应服务器部署。

  • 节点管理器:每台服务器部署一个。

三、安装部署过程

对等部署的安装详细过程可以参考文档: KunlunBase 快速入门安装指南, KunlunBase 1.0 将支持基于 WEB UI 界面的对等模式安装,提高安装的易用性。


对等部署的服务器资源规划参照下面表格(以三节点为例)


四、对等部署服务器配置要求

[TOC]


做为分布式数据库,KunlunBase 集群对服务器的配置要求相对较低,入门级的 KunlunBase 集群的服务器配置参考如下:


KunlunBase 入门级机器配置:


  • 服务器 3 台:亚马逊 m5.4xlarge 机型(CPU 8cores 16Threads , 内存 64G,存储 gp3, 通用型 SSD 卷 3000IOPS ,125MB/s 吞吐量,节点间网络带宽 10G)。

  • 数据库软件:KunlunBase 0.9.1。

  • 部署架构:对等部署,3Shard , 每个 Shard 有 3 个副本。

-END

昆仑数据库是一个 HTAP NewSQL 分布式数据库管理系统,可以满足用户对海量关系数据的存储管理和利用的全方位需求。应用开发者和 DBA 的使用昆仑数据库的体验与单机 MySQL 和单机 PostgreSQL 几乎完全相同,因为首先昆仑数据库支持 PostgreSQL 和 MySQL 双协议,支持标准 SQL:2011 的 DML 语法和功能以及 PostgreSQL 和 MySQL 对标准 SQL 的扩展。同时,昆仑数据库集群支持水平弹性扩容,数据自动拆分,分布式事务处理和分布式查询处理,健壮的容错容灾能力,完善直观的监测分析告警能力,集群数据备份和恢复等 常用的 DBA 数据管理和操作。所有这些功能无需任何应用系统侧的编码工作,也无需 DBA 人工介入,不停服不影响业务正常运行。昆仑数据库具备全面的 OLAP 数据分析能力,通过了 TPC-H 和 TPC-DS 标准测试集,可以实时分析最新的业务数据,帮助用户发掘出数据的价值。昆仑数据库支持公有云和私有云环境的部署,可以与 docker,k8s 等云基础设施无缝协作,可以轻松搭建云数据库服务。请访问 http://www.zettadb.com/ 获取更多信息并且下载昆仑数据库软件、文档和资料。KunlunBase 项目已开源

【GitHub:】https://github.com/zettadb

【Gitee:】https://gitee.com/zettadb

发布于: 刚刚阅读数: 5
用户头像

KunlunBase

关注

还未添加个人签名 2022.03.09 加入

还未添加个人简介

评论

发布
暂无评论
KunlunBase指导手册(二)对等部署最佳实践_国产数据库_KunlunBase_InfoQ写作社区