zookeeper框架——Java API开发 - Go语言中文社区

zookeeper框架——Java API开发


一、基本运用

         org.apache.zookeeper.Zookeeper是客户端入口主类,负责建立与server的会话。它提供了表 1 所示几类主要方法 :

功能

描述

create

在本地目录树中创建一个节点

delete

删除一个节点

exists

测试本地是否存在目标节点

get/set data

从目标节点上读取 / 写数据

get/set ACL

获取 / 设置目标节点访问控制列表信息

get children

检索一个子节点上的列表

sync

等待要被传送的数据

 

 

 

 

 

 

 

 

 

下面以基本的增删改查来演示,首先主体框架为:

public class SimpleZkClient {

	private static final String connectString="Hadoop003:2181,hadoop004:2181,hadoop005:2181";
	private static final int sessionTimeout = 2000;

	ZooKeeper zkClient = null;
	@Before
	public void init() throws Exception {
        //Watcher 看基本介绍里面的监听讲解,这里在初始化时就创建监听事件,然后在运行下面的程序时,如果node有改变就会把监听事件打印出来
		zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			@Override
			public void process(WatchedEvent event) {
				// 收到事件通知后的回调函数(应该是我们自己的事件处理逻辑)
				System.out.println(event.getType() + "---" + event.getPath());
				try {
					zkClient.getChildren("/", true);//true为启动监听,false不见他,后面都是
				} catch (Exception e) {
				}
			}
		});
	}	
}

注意:在这里不能配成Ip+port,因为zookeeper绑定的是hostname,而不是Ip,否则会报错

  • 创建数据节点到zk中
@Test
public void testCreate() throws KeeperException, InterruptedException {
	// 参数1:要创建的节点的路径 参数2:节点大数据 参数3:节点的权限 参数4:节点的类型
	String nodeCreated = zkClient.create("/eclipse", "hellozk".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
	//上传的数据可以是任何类型,但都要转成byte[]
}
  • 判断znode是否存在
@Test	
public void testExist() throws Exception{
	Stat stat = zkClient.exists("/eclipse", false);
	System.out.println(stat==null?"not exist":"exist");
}
  • 获取子节点
@Test
public void getChildren() throws Exception {
	List<String> children = zkClient.getChildren("/", true);
	for (String child : children) {
		System.out.println(child);
	}
	Thread.sleep(Long.MAX_VALUE);
}
  • 获取znode的数据
@Test
public void getData() throws Exception {
	byte[] data = zkClient.getData("/eclipse", false, null);
	System.out.println(new String(data));
}
  • 删除znode
@Test
public void deleteZnode() throws Exception {
	//参数2:指定要删除的版本,-1表示删除所有版本
	zkClient.delete("/eclipse", -1);
}
  • 修改znode
@Test
public void setData() throws Exception {
	zkClient.setData("/app1", "imissyou angelababy".getBytes(), -1);
	byte[] data = zkClient.getData("/app1", false, null);
	System.out.println(new String(data));
}

二、zookeeper应用案例

1、实现分布式应用的(主节点HA)及客户端动态更新主节点状态

        某分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知到主节点服务器的上下线。就是在服务器端,每次服务器端上线(启动)时,就会到zookeeper上注册自己(就是创建node节点)注意这个node节点应该是短暂型的,即服务端断开连接后就删除(设置的超时时间);然后在客户端,就监听服务端创建node节点的父节点,然后启动监听,就可以用来感知服务器端动态上下线了。

  • 首先服务器端实现如下:
public class DistributedServer {
	private static final String connectString="hadoop003:2181,hadoop004:2181,hadoop005:2181";
	private static final int sessionTimeout = 2000;
	private static final String parentNode = "/servers";

	private ZooKeeper zk = null;

	/**
	 * 创建到zk的客户端连接
	 * 
	 * @throws Exception
	 */
	public void getConnect() throws Exception {

		zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			@Override
			public void process(WatchedEvent event) {
				// 收到事件通知后的回调函数(应该是我们自己的事件处理逻辑)
				System.out.println(event.getType() + "---" + event.getPath());
				try {
					zk.getChildren("/", true);
				} catch (Exception e) {
				}
			}
		});

	}

	/**
	 * 向zk集群注册服务器信息
	 * 
	 * @param hostname
	 * @throws Exception
	 */
	public void registerServer(String hostname) throws Exception {

		String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
		System.out.println(hostname + "is online.." + create);

	}

	/**
	 * 业务功能,这里没有
	 * 
	 * @throws InterruptedException
	 */
	public void handleBussiness(String hostname) throws InterruptedException {
		System.out.println(hostname + "start working.....");
		Thread.sleep(Long.MAX_VALUE);
	}
	
	public static void main(String[] args) throws Exception {

		// 获取zk连接
		DistributedServer server = new DistributedServer();
		server.getConnect();

		// 利用zk连接注册服务器信息
		server.registerServer(args[0]);

		// 启动业务功能
		server.handleBussiness(args[0]);

	}
}

说明:这里我们把服务器的名字放在了/server目录下面,要先创建该目录才行,然后在运行时main要传入服务名的参数,eclipse运行main传入参数

 

然后客户端实现如下:

public class DistributedClient {

	private static final String connectString="hadoop003:2181,hadoop004:2181,hadoop005:2181";
	private static final int sessionTimeout = 2000;
	private static final String parentNode = "/servers";
	// 注意:加volatile的意义何在?就会操作堆内存,也就是当客户端有多个时,所有客户端使用的该内存一样,保证数据一致性。
	private volatile List<String> serverList;
	private ZooKeeper zk = null;

	/**
	 * 创建到zk的客户端连接
	 * 
	 * @throws Exception
	 */
	public void getConnect() throws Exception {

		zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			@Override
			public void process(WatchedEvent event) {
				// 收到事件通知后的回调函数(应该是我们自己的事件处理逻辑)
				try {
					//重新更新服务器列表,并且注册了监听
					getServerList();

				} catch (Exception e) {
				}
			}
		});

	}

	/**
	 * 获取服务器信息列表
	 * 
	 * @throws Exception
	 */
	public void getServerList() throws Exception {

		// 获取服务器子节点信息,并且对父节点进行监听
		List<String> children = zk.getChildren(parentNode, true);

		// 先创建一个局部的list来存服务器信息
		List<String> servers = new ArrayList<String>();
		for (String child : children) {
			// child只是子节点的节点名,所以不监听,监听父节点,得子节点的改变情况;监听子节点得子节点里面的数据改变情况
			byte[] data = zk.getData(parentNode + "/" + child, false, null);
			servers.add(new String(data));
		}
		// 把servers赋值给成员变量serverList,已提供给各业务线程使用
		serverList = servers;
		
		//打印服务器列表
		System.out.println(serverList);
		
	}

	/**
	 * 业务功能
	 * 
	 * @throws InterruptedException
	 */
	public void handleBussiness() throws InterruptedException {
		System.out.println("client start working.....");
		Thread.sleep(Long.MAX_VALUE);
	}
	
	
	public static void main(String[] args) throws Exception {

		// 获取zk连接
		DistributedClient client = new DistributedClient();
		client.getConnect();
		// 获取servers的子节点信息(并监听),从中获取服务器信息列表
		client.getServerList();

		// 业务线程启动
		client.handleBussiness();
		
	}
}

 

2、分布式共享锁的简单实现

        当多个客户端同时竞争某一资源时就要进行加锁操作,但是在分布式系统中应该如何加锁呢?可以采用zookeeper来辅助完成,下面是其实现思路:

public class DistributedClientLock {
	

	// 会话超时
	private static final int SESSION_TIMEOUT = 2000;
	// zookeeper集群地址
	private String hosts = "hadoop003:2181,hadoop004:2181,hadoop005:2181";
	private String groupNode = "locks";
	private String subNode = "sub";
	private boolean haveLock = false;

	private ZooKeeper zk;
	// 记录自己创建的子节点路径
	private volatile String thisPath;

	/**
	 * 连接zookeeper
	 */
	public void connectZookeeper() throws Exception {
		zk = new ZooKeeper(hosts, SESSION_TIMEOUT, new Watcher() {
			public void process(WatchedEvent event) {
				try {

					// 判断事件类型,此处只处理子节点变化事件
					if (event.getType() == EventType.NodeChildrenChanged && event.getPath().equals("/" + groupNode)) {
						//获取子节点,并对父节点进行监听
						List<String> childrenNodes = zk.getChildren("/" + groupNode, true);
						String thisNode = thisPath.substring(("/" + groupNode + "/").length());
						// 去比较是否自己是最小id
						Collections.sort(childrenNodes);
						if (childrenNodes.indexOf(thisNode) == 0) {
							//访问共享资源处理业务,并且在处理完成之后删除锁
							doSomething();
							
							//重新注册一把新的锁
							thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
									CreateMode.EPHEMERAL_SEQUENTIAL);
						}
					}
				} catch (Exception e) {
					e.printStackTrace();
				}
			}
		});

		// 1、程序一进来就先注册一把锁到zk上
		thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
				CreateMode.EPHEMERAL_SEQUENTIAL);

		// wait一小会,便于观察
		Thread.sleep(new Random().nextInt(1000));

		// 从zk的锁父目录下,获取所有子节点,并且注册对父节点的监听
		List<String> childrenNodes = zk.getChildren("/" + groupNode, true);

		//如果争抢资源的程序就只有自己,则可以直接去访问共享资源 
		if (childrenNodes.size() == 1) {
			doSomething();
			thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
					CreateMode.EPHEMERAL_SEQUENTIAL);
		}
	}

	/**
	 * 处理业务逻辑,并且在最后释放锁
	 */
	private void doSomething() throws Exception {
		try {
			System.out.println("gain lock: " + thisPath);
			Thread.sleep(2000);
			// do something
		} finally {
			System.out.println("finished: " + thisPath);
			zk.delete(this.thisPath, -1);
		}
	}

	public static void main(String[] args) throws Exception {
		DistributedClientLock dl = new DistributedClientLock();
		dl.connectZookeeper();
		Thread.sleep(Long.MAX_VALUE);
	}
}

 

 

 

版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/qq_22172133/article/details/83514158
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2021-12-11 18:00:05
  • 阅读 ( 1023 )
  • 分类:Go Web框架

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢