Zookeeper 总结与面试题汇总

1.zookeeper的用处

从工作机制上来说，Zk = 文件系统 + 通知机制
想个哨兵一样，它负责存储和管理大家都关心的数据，然后接收观察者的注册，一旦这些数据的状态发生变化,Zk 就通知已经在Zookeeper 已经注册的观察者做出相应的反应。

2.zookeeper的数据结构（树）? 讲一下基于它实现的分布式锁？基于它实现的Master选举？基于它的集群管理？zookeeper的注册（watch）机制和轮询机制的使用场景？

1. Zk 的数据结构是树，同样数据结构的还有 linux 文件系统和 hdfs 文件系统。
2. 基于 Zookeeper 实现分布式锁

基于 zookeeper 实现分布式锁的方案，由于zookeeper 有以下特点:

1.维护了一个有层次的数据节点，类似文件系统（因为Zookeeper本身是树结构）。
2.有以下数据节点：临时节点、永久节点、临时有序节点（分布式锁是基于该类型节点）、持久有序节点。
3.Zookeeper 可以和 client 通过心跳的机制保持长连接，如果客户端连接zookeeper 创建了一个临时节点，那么这个客户端与断开连接后会自动删除（心跳机制创建的节点都是临时节点）。
4.zookeeper 的节点上可以注册用户事件（监听事件），如果节点数据删除或者更新都可以触发自定义的监听事件。
5.zookeeper 保持数据的全局一致性，也叫统一视图，各服务对于状态信息获取满足一致性。
在每一个节点下面创建节点时，可以选择创建类型时有序（ephemeral_sequential persisitent_sequential）,那么在新节点的后面就会加上一个次序编号，这个次序编号，是上一个生成的次序编号加 1.

问题来了：讲一下如何用 zookeeper 实现分布式锁？

三个步骤：加锁 -》获取锁-》释放锁

大致思想：每个客户端对某个方法加锁时，在 zookeeper 上对该方法对应的指定节点目录下，生成一个临时有序节点。判断是否获取到锁的方式很简单，只需要判断有序节点中序号最小的一个。当释放锁的时候，只需要将这个临时节点删除即可。同时，其可以避免服务宕机导致的锁无法释放，而产生的死锁问题。
Zookeeper 分布式锁参考资料
 Zk 实现排他锁和共享锁

3. 展开讲下 ZK 的 leader 选举机制

(1) 主要基于半数机制：集群中半数以上的机器存活，就认为集群可用，所以 Zk 适合装在奇数台机器上，Zk选举最少需要三台机器，最少需要两台运行良好的机器，这样三台哪怕挂掉一台机器，也能选出leader。

(2)哪些情况下需要进行选举？并描述选举过程
<1> 服务器初始化启动时，需要选取 leader
<2> 服务器运行期间无法和leader 保持连接
对于情况一：这里以一个简单的例子说明整个选举流程，假设五台服务器组成 Zk 集群，他们的 id 为 1 ~ 5 ,它们都是最新启动的，没有什么历史数据，假设这些服务器依次启动：
开始：

a. 服务器 1 启动，发起一次选举，投自己一票，此时服务器 1 票数为1，不够半数 3 以上，选举无法完成，服务器 1 保持为Looking (它的票可以在接下来的轮次中可以投给别人)

b. 服务器 2 启动，再发起一次选举，服务器 1 投自己，服务器 2 投自己，二者交换投票选票信息，此时服务器 1 发现服务器 2 的 id 比自己大，所以改投给服务器 2 ，此时服务器1为 0 票，服务器 2 为 2 票，但是不大于半数，所以，leader 没被选出来，服务器 1 ， 2 保持为 Looking 状态

c. 服务器 3 启动，发起一轮投票，此时服务器 1 ，2 都改投服务器 3 ,服务器 3 为 3票，超过半数，所以服务器3 成为leader ,服务器 1，2 的状态更改为 Folowing, 服务器 3 更改为 Leading .

d.服务器 4 启动，发起投票，此时 1 2 3 已经不在时 Looking 状态，不会更改投票信息，交换投票信息后，服务器少数服从多数，改投 3 ，并更改状态为 Following

e. 服务器 5 启动，和 4 一样，少数服从多数。
leader 的选举保证了集群全局数据一致性。
（3）基于它的集群管理？zookeeper的注册（watch）机制和轮询机制的使用场景？
描述一下 Zk 的注册（watch）机制：基于 Zk 上创建的节点，可以对这些节点绑定监听事件，比如监听节点的数据变更、节点删除、子节点状态变更等事件，通过这个事件机制，可以基于Zookeeper 实现分布式锁、集群管理如集群节点的动态上下线检测、统一命名服务、统一配置管理、转负载均衡。

这里以服务器的动态上下线为例：

zk 的监听原理（画图解释）

<1>首先得有一个 main() 线程.
<2>创建一个Zookeeper 客户端，这个客户端对象就会创建两个线程，一个负责网络通信（connect）,一个负责监听（listener）.
<3>通过 connect 将注册的监听事件发送给 Zookeeper.
<4> 在 Zookeeper 的监听器列表中将注册的监听事件添加到列表中。
<5>Zookeeper 监听到了有数据或者路径发生变化，就会将这个消息发送给listener.
<6> listener 线程内部就会调用 process() 方法。
扩展：常见的监听有两种，一种是数据的变化，一种是节点增减的变化。

数据同步过程：
1. 数据同步是发生在整个集群 leader 选举之后的进行的，此时leader 是集群中数据最完整最新的节点。
1. 由于所有的 znode 节点变更都要经过leader,leader 会为所有的follower 和 observer 创建 learnhandler 线程用于接收数据同步的请求。
1. 当follower 和 observer 接收到 leader 发送的消息后，比较 zxid 的大小，如果zxid 小于 leader 的zxid ,则把节点最大的 zxid 发送给 leader, leader 会将大于该 zxid 的所有数据都同步到 follower ，完成同步后，通知该 follower 进入 update状态，follower 接收到 update 的信息后，就可接收 client 的请求了。
写数据流程