irpas技术客

zookeeper:使用python操作zookeeper_Lucky@Dong_python zookeeper

网络投稿 7188

1、kazoo 介绍

zookeeper的开发接口以前主要以java和c为主,随着python项目越来越多的使用zookeeper作为分布式集群实现,python的zookeeper接口也出现了很多,现在主流的纯python的zookeeper接口是kazoo。因此如何使用kazoo开发基于python的分布式程序是必须掌握的。

ZooKeeper 是一个分布式的、开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 Hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper 支持大部分开发语言,除了某些特定的功能只支持 Java 和 C。python 通过 kazoo 可以实现操作?ZooKeeper 。

安装kazoo pip3 install kazoo 2、基本操作 from kazoo.client import KazooClient zk = KazooClient(hosts='192.168.91.128:2181') #如果是本地那就写127.0.0.1 zk.start() #与zookeeper连接 zk.stop() #与zookeeper断开 3、创建节点 from kazoo.client import KazooClient zk = KazooClient(hosts='192.168.91.128:2181') #如果是本地那就写127.0.0.1 zk.start() #与zookeeper连接 #makepath=True是递归创建,如果不加上中间那一段,就是建立一个空的节点 zk.create('/abc/JQK/XYZ/0001',b'this is my house',makepath=True) node = zk.get_children('/') # 查看根节点有多少个子节点 print(node) zk.stop() #与zookeeper断开

执行输出:

['abc', 'zookeeper']

注意:空节点的值不能用set修改,否则执行报错!

4、删除节点

如果要删除这个/abc/JQK/XYZ/0001的子node,但是想要上一级XYZ这个node还是存在的,语句如下:

from kazoo.client import KazooClient zk = KazooClient(hosts='192.168.91.128:2181') #如果是本地那就写127.0.0.1 zk.start() #与zookeeper连接 #recursive=True是递归删除,就是无视下面的节点是否是空,都干掉,不加上的话,会提示子节点非空,删除失败 zk.delete('/abc/JQK/XYZ/0001',recursive=True) node = zk.get_children('/') # 查看根节点有多少个子节点 print(node) zk.stop() #与zookeeper断开

执行输出:

['abc', 'zookeeper'] 5、更改节点

现在假如要在0001这个node里更改value,比如改成:"this is my horse!",

由于上面节点已经被删除掉了,需要先创建一次。

语句如下:

from kazoo.client import KazooClient zk = KazooClient(hosts='192.168.91.128:2181') #如果是本地那就写127.0.0.1 zk.start() #与zookeeper连接 zk.create('/abc/JQK/XYZ/0001',b'this is my house',makepath=True) zk.set('/abc/JQK/XYZ/0001',b"this is my horse!") node = zk.get('/abc/JQK/XYZ/0001') # 查看值 print(node) zk.stop() #与zookeeper断开

执行输出:

(b'this is my horse!', ZnodeStat(czxid=4294967449, mzxid=4294967452, ctime=1544598301273, mtime=1544598308267, version=1, cversion=0, aversion=0, ephemeralOwner=0, dataLength=17, numChildren=0, pzxid=4294967449))

注意!set这种增加节点内容的方式是覆盖式增加,并不是在原有基础上增添。而且添加中文的话可能在ZooInspecter里出现的是乱码

6、查看节点

由于所有节点,都是在/ 节点上面的,直接查看根节点,就可以知道所有节点了

from kazoo.client import KazooClient zk = KazooClient(hosts='192.168.91.128:2181') #如果是本地那就写127.0.0.1 zk.start() #与zookeeper连接 node = zk.get_children('/') print(node) zk.stop() #与zookeeper断开

执行输出:

['abc', 'zookeeper']

7、一键清空zookeeper

有些时候,需要将zookeeper的数据全部清空,可以使用以下代码

from kazoo.client import KazooClient zk = KazooClient(hosts='192.168.91.128:2181') #如果是本地那就写127.0.0.1 zk.start() #与zookeeper连接 jiedian = zk.get_children('/') # 查看根节点有多少个子节点 print(jiedian) for i in jiedian: if i != 'zookeeper': # 判断不等于zookeeper print(i) # 删除节点 zk.delete('/%s'%i,recursive=True) zk.stop() #与zookeeper断开

注意:默认的zookeeper节点,是不允许删除的,所以需要做一个判断。

8、watches 事件

?zookeeper 所有读操作都有设置 watch 选项(get_children() 、get() 和 exists())。watch 是一个触发器,当检测到 zookeeper 有子节点变动 或者 节点value发生变动时触发。下面以 get() 方法为例。

from kazoo.client import KazooClient zk = KazooClient(hosts='10.1.44.55') zk.start() def test(event): print('触发事件') if __name__ == "__main__": zk.get('/testplatform/test',watch = test) print("第一次获取value") zk.set('/testplatform/test',b'hello') zk.get('/testplatform/test',watch = test) print("第二次获取value") # 输出 #第一次获取value #触发事件 #第二次获取value

--需要更多高阶使用的同学,请参考 kazoo 官方文档:https://kazoo.readthedocs.io/en/latest/api/client.html


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。

标签: #Python #zookeeper #1kazoo #Google