概述
1.简介
Zookeeper 是一个开源的分布式协调服务,目前由 Apache 进行维护。Zookeeper 可以用于实现分布式系统中常见的发布/订阅、负载均衡、命令服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。
(1)Zookeeper本身就是一个分布式程序,主要半数以上节点存活,Zookeeper就能正常服务。
(2)为了保证高可用,最好以集群方式,这样只要集群中大部分机器是可用的,Zookeeper本身仍然可用。
(3)Zookeeper将数据保存在内存中,保证了高吞吐和低延迟,但是内存限制了能够存储的容量不太大,限制了Znode中存储的数据量较小的进一步原因。
(4)Zookeeper是高性能的,在读多于写的应用程序中尤其的高性能,因为写会导致所有服务器同步状态。
(5)Zookeeper有临时节点的概念,当创建临时节点的客户端会话一直保持活动,瞬时节点就一直存在,而当会话终结时,瞬时节点被删除。持久节点是指一旦这个ZNode被创建,除非主动进行ZNode的移除操作,否则这个ZNode将一直保存在Zookeeper上。
(6)Zookeeper底层其实提供了两个功能,管理用户程序提交的数据;为用户程序提供节点监听服务。
2.数据模型
Zookeeper 通过树形结构来存储数据,它由一系列被称为 ZNode 的数据节点组成,类似于常见的文件系统。不过和常见的文件系统不同,Zookeeper 将数据全量存储在内存中,以此来实现高吞吐,减少访问延迟。
Zookeeper中node 分为两类,分为持久节点和临时节点。
持久节点:一旦这个ZNode被创建了,除非主动进行ZNode的移除操作,否则这个ZNode将一直保存在Zookeeper上。
临时节点:当创建临时节点的客户端会话一直保持活动,瞬时节点就一直存在。而当会话终结时,瞬时节点被删除,另外临时节点没有子节点。
同时Zookeepe还允许为每个节点添加一个属性:SEQUENTIAL。一旦节点被标记上这个属性,那么这个节点被创建的时候,Zookeeper会自动在其节点名后追加上一个整型数字,这个整型数字是由一个父节点维护的自增数字。
3.操作指令
#创建永久的节点 create 节点名 值
create testnode hello
#创建临时节点 create -e(ephemeral) /节点名 值 session完全断开后(服务器重启之后),数据消失
create -e test hello
#创建有序节点 create -s(Serializable) /节点名 值 可以避免节点命名冲突
create -s test2 helloWorld
#修改: set 节点名 值
set test helloWorld
#删除: delete 节点名
delete test
delete只能删除不含子节点的节点,如果要删除包含子节点的节点则需要使用rmr命令
#查询节点:get /节点名
get /testnode
"hello"
cZxid = 0x04 #数据创建时的事务id c create
ctime = Fri Jun 25 09:42:34 CST 2021 #数据节点创建时的时间 create
mZxid = 0x04 #数据修改时的数据事务id m modify 修改
mtime = Fri Jun 25 09:42:34 CST 2022 #数据节点修改时的时间 m modify
pZxid = 0x04 #当前节点的子节点最后一次被修改的事务id
cversion = 0 #c child 子节点的版本号==>子节点的更改次数
dataVersion = 0 #当前节点的更改次数
aclVersion = 0 #节点ACL的更改次数 ACL access controller Lists
ephemeralOwner = 0x0 #如果该节点是临时节点,则该值为当前sessionId,若为临时节点,则当前 值为0x0
dataLength = 8 #数据内容的长度
numChildren = 0 #数据当前节点子节点个数
可以使用stat命令查询节点状态,它返回值和get命令类似,但不会返回节点数据
#语法:stat /节点名
stat /test
cZxid = 0x11
ctime = Fri Jun 25 19:11:43 CST 2021
mZxid = 0x11
mtime = Fri Jun 25 19:11:43 CST 2021
pZxid = 0x11
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
4.Stat
每个 ZNode 节点在存储数据的同时,都会维护一个叫做 Stat 的数据结构,里面存储了关于该节点的全部状态信息。如下:
状态属性 | 说明 |
---|---|
czxid | 数据节点创建时的事务 ID |
ctime | 数据节点创建时的时间 |
mzxid | 数据节点最后一次更新时的事务 ID |
mtime | 数据节点最后一次更新时的时间 |
pzxid | 数据节点的子节点最后一次被修改时的事务 ID |
cversion | 子节点的更改次数 |
version | 节点数据的更改次数 |
aversion | 节点的 ACL 的更改次数 |
ephemeralOwner | 如果节点是临时节点,则表示创建该节点的会话的 SessionID;如果节点是持久节点,则该属性值为 0 |
dataLength | 数据内容的长度 |
numChildren | 数据节点当前的子节点个数 |
5.权限 ACL
Zookeeper采用ACL策略来进行权限控制,分为:
(1)CREATE:创建子节点的权限。
(2)READ:获取节点数据和子节点列表的权限。
(3)WRITE:更新节点数据的权限。
(4)DELETE:删除子节点的权限。
(5)ADMIN:设置节点的ACL权限。
其中CREATE和DELETE这两种权限都是针对子节点的控制权限。
6.Seesion-会话
Session是指Zookeeper服务器与客户端会话。在Zookeeper中,一个客户端连接是指客户端和服务器之间的一个TCP长连接。客户端启动的时候,首先会与服务器建立一个TCP连接,从第一次连接建立开始,客户端会话的生命周期就开始了。通过这个连接,客户端能够通过心跳检测与服务器保持有效的会话,也能够像Zookeeper服务器发送请求并接受响应,同时还能够通过该连接接收来自服务器的Watch事件通知。
在为客户端创建会话之前,服务端首先会为每个客户端都分配一个sissionID,由于sessionID是Zookeeper会话的一个重要标识,许多与会话相关的运行机制都是基于sessionID的,因此,无论是哪台服务器为客户端分配的sessionID,都需要保证全局唯一。
Session的sessionTimeout可以设置客户端会话的超时事件。由于服务压力大,网络故障或者客户端主动断开连接等各种原因导致客户端连接断开时,只要在sessionTimeout规定的时间内能够重新连接上集群中任意一台服务器,那么之前创建的会话仍然有效。
7.watcher
Watcher-事件监听器,是Zookeeper中一个很重要的特性。Zookeeper允许用于在指定节点上注册一些Watcher,并且在一些特定事件触发的时候,Zookeeper服务端会将事件通知到感兴趣的客户端上去,该机制是Zookeeper实现分布式协调服务的重要特性。
8.特点
顺序一致性:从一个客户端发起的事务请求,最终都会严格按照其发起顺序被应用到 Zookeeper 中;
原子性:所有事务请求的处理结果在整个集群中所有机器上都是一致的;不存在部分机器应用了该事务,而另一部分没有应用的情况;
单一视图:所有客户端看到的服务端数据模型都是一致的;
可靠性:一旦服务端成功应用了一个事务,则其引起的改变会一直保留,直到被另外一个事务所更改;
实时性:一旦一个事务被成功应用后,Zookeeper 可以保证客户端立即可以读取到这个事务变更后的最新状态的数据。
9.应用
数据的发布/订阅
数据的发布/订阅系统,通常也用作配置中心。在分布式系统中,你可能有成千上万个服务节点,如果想要对所有服务的某项配置进行更改,由于数据节点过多,你不可逐台进行修改,而应该在设计时采用统一的配置中心。之后发布者只需要将新的配置发送到配置中心,所有服务节点即可自动下载并进行更新,从而实现配置的集中管理和动态更新。
Zookeeper 通过 Watcher 机制可以实现数据的发布和订阅。分布式系统的所有的服务节点可以对某个 ZNode 注册监听,之后只需要将新的配置写入该 ZNode,所有服务节点都会收到该事件
命名服务
在分布式系统中,通常需要一个全局唯一的名字,如生成全局唯一的订单号等,Zookeeper 可以通过顺序节点的特性来生成全局唯一 ID,从而可以对分布式系统提供命名服务。
Master选举
只要系统A挂了,那/groupMember/A这个节点就会删除,通过监听groupMember下的子节点,系统B和C就能够感知到系统A已经挂了。由于Znode节点的类型是带顺序号的临时节点,Zookeeper会每次选举最小编号的作为Master,如果Master挂了,自然对应的Znode节点就会删除。然后让新的最小编号作为Master,这样就可以实现动态选举的功能了。
分布式锁
锁服务可以分为两类:保持独占、控制时序
(1)保持独占
将zookeeper上的一个znode看作是一把锁,通过createznode的方式来实现。所有客户端都去创建 /distribute_lock 节点,最终成功创建的那个客户端也即拥有了这把锁。用完删除掉自己创建的distribute_lock 节点就释放出锁。
(2)控制时序
/distribute_lock 已经预先存在,所有客户端在它下面创建临时顺序编号目录节点,和选master一样,编号最小的获得锁,用完删除,其他的watch自己前面的编号节点,依次获取。
最后
以上就是无辜冬瓜为你收集整理的Zookeeper-认识的全部内容,希望文章能够帮你解决Zookeeper-认识所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复