写点什么

两个小时手写了个 Zookeeper 分布式服务注册中心

  • 2021 年 11 月 25 日
  • 本文字数:3050 字

    阅读完需:约 10 分钟

Zookeeper 是什么

官方文档上这么解释 zookeeper,它是一个分布式协调框架,是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

上面的解释有点抽象,简单来说 zookeeper=文件系统+监听通知机制

1、 文件系统

Zookeeper 维护一个类似文件系统的数据结构:


每个子目录项如 NameService 都被称作为 znode(目录节点),和文件系统一样,我们能够自由的增加、删除 znode,在一个 znode 下增加、删除子 znode,唯一的不同在于 znode 是可以存储数据的。

有四种类型的 znode:

1、PERSISTENT-持久化目录节点

客户端与 zookeeper 断开连接后,该节点依旧存在

2、 PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点

客户端与 zookeeper 断开连接后,该节点依旧存在,只是 Zookeeper 给该节点名称进行顺序编号

3、EPHEMERAL-临时目录节点

客户端与 zookeeper 断开连接后,该节点被删除

4、EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点

客户端与 zookeeper 断开连接后,该节点被删除,只是 Zookeeper 给该节点名称进行顺序编号

2、 监听通知机制

客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、被删除、子目录节点增加删除)时,zookeeper 会通知客户端。

就这么简单,下面我们看看 Zookeeper 能做点什么呢?

Zookeeper 能做什么

zookeeper 功能非常强大,可以实现诸如分布式应用配置管理、统一命名服务、状态同步服务、集群管理等功能,我们这里拿比较简单的分布式应用配置管理为例来说明。

假设我们的程序是分布式部署在多台机器上,如果我们要改变程序的配置文件,需要逐台机器去修改,非常麻烦,现在把这些配置全部放到 zookeeper 上去,保存在 zookeeper 的某个目录节点中,然后所有相关应用程序对这个目录节点进行监听,一旦配置信息发生变化,每个应用程序就会收到 zookeeper 的通知,然后从 zookeeper 获取新的配置信息应用到系统中。


如上,你大致应该了解 zookeeper 是个什么东西,大概能做些什么了,我们马上来学习下 zookeeper 的安装及使用,并开发一个小程序来实现 zookeeper 这个配置管理的功能

zookeeper 安装

Step1:配置 JAVA 环境,检验环境:

java -version
复制代码

Step2: 下载解压 zookeeper

wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gztar -zxvf zookeeper-3.4.11.tar.gzcd zookeeper-3.4.11
复制代码

Step3: 重命名配置文件 zoo_sample.cfg

 cp zoo_sample.cfg zoo.cfg 
复制代码

Step4: 启动 zookeeper

# 可以通过 bin/zkServer.sh 来查看都支持哪些参数 bin/zkServer.sh start 
复制代码

Step5: 检测是否启动成功

bin/zkCli.sh start 
复制代码

Zookeeper 使用

使用命令行操作 zookeeper

1、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容


2、创建一个新的 znode ,使用 create /zkPro myData


3、再次使用 ls 命令来查看现在 zookeeper 中所包含的内容:


4、下面我们运行 get 命令来确认第二步中所创建的 znode 是否包含我们所创建的字符串:


5、下面我们通过 set 命令来对 zk 所关联的字符串进行设置:


6、下面我们将刚才创建的 znode 删除


Stat

  • cZxid:创建 znode 的事务 ID。

  • mZxid:最后修改 znode 的事务 ID。

  • pZxid:最后修改添加或删除子节点的事务 ID。

  • ctime:znode 创建时间。

  • mtime:znode 最近修改时间。

  • dataVersion:znode 的当前数据版本。

  • cversion:znode 的子节点结果集版本(一个节点的子节点增加、删除都会影响这个版本)。

  • aclVersion:表示对此 znode 的 acl 版本。

  • ephemeralOwner:znode 是临时 znode 时,表示 znode 所有者的 session ID。 如果 znode 不是临时 znode,则该字段设置为零。

  • dataLength:znode 数据字段的长度。

  • numChildren:znode 的子 znode 的数量。

Zookeeper 集群模式安装

本例搭建的是伪集群模式,即一台机器上启动三个 zookeeper 实例组成集群,真正的集群模式无非就是实例 IP 地址不同,搭建方法没有区别

Step1:配置 JAVA 环境,检验环境:

java -version
复制代码

Step2:下载并解压 zookeeper

wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gztar -zxvf zookeeper-3.4.11.tar.gzcd zookeeper-3.4.11
复制代码

Step3:重命名 zoo_sample.cfg 文件

 cp conf/zoo_sample.cfg conf/zoo-1.cfg
复制代码

Step4:修改配置文件 zoo-1.cfg,原配置文件里有的,修改成下面的值,没有的则加上

# vim conf/zoo-1.cfgdataDir=/usr/local/data/zookeeper-1clientPort=2181server.1=127.0.0.1:2888:3888server.2=127.0.0.1:2889:3889server.3=127.0.0.1:2890:3890
复制代码

配置说明

  • tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。

  • initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒

  • syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 5*2000=10 秒

  • dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。

  • clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。

  • server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。

Step4:再从 zoo-1.cfg 复制两个配置文件 zoo-2.cfg 和 zoo-3.cfg,只需修改 dataDir 和 clientPort 不同即可

cp conf/zoo-1.cfg conf/zoo-2.cfgcp conf/zoo-1.cfg conf/zoo-3.cfgvim conf/zoo-2.cfgdataDir=/usr/local/data/zookeeper-2clientPort=2182vim conf/zoo-2.cfgdataDir=/usr/local/data/zookeeper-3clientPort=2183
复制代码

Step5:标识 Server ID

创建三个文件夹/tmp/zookeeper-1,/tmp/zookeeper-2,/tmp/zookeeper-2,在每个目录中创建文件 myid 文件,写入当前实例的 server id,即 1.2.3

cd /usr/local/data/zookeeper-1vim myid1 cd /usr/local/data/zookeeper-2vim myid2 cd /usr/local/data/zookeeper-3vim myid3
复制代码

Step6:启动三个 zookeeper 实例

bin/zkServer.sh start conf/zoo-1.cfgbin/zkServer.sh start conf/zoo-2.cfgbin/zkServer.sh start conf/zoo-3.cfg
复制代码

Step7:检测集群状态,也可以直接用命令“zkCli.sh -server IP:PORT”连接 zookeeper 服务端检测


bin/zkCli.sh -server 192.168.6.134:2181

本次关于 zookeeper 的分享就到这里结束了~这个我也录制了视频,有需要的可以私信。

同时也欢迎做 Java 的工程师朋友们仅需添加小助理 vx:XIaonan00000621 即可获取免费下载方式!其中覆盖了互联网的方方面面,期间碰到各种产品各种场景下的各种问题,希望可以帮助大家扩展自己的技术广度和知识面。

领取的朋友们记得一定要帮作者来个关注+转发!谢谢大家!

用户头像

还未添加个人签名 2021.10.14 加入

还未添加个人简介

评论

发布
暂无评论
两个小时手写了个Zookeeper分布式服务注册中心