2021-04-29

Zookeeper系列(4):搭建Zookeeper集群

简介

Zookeeper集群主要解决单节点故障问题以及提高整体并发访问能力。

Zookeeper集群具有以下特点:

  1. Zookeeper集群有一个leader服务器和多个follower服务器,leader是运行时动态选举出来的。

  2. Zookeeper集群中只要由半数以上的节点可用,Zookeeper集群就能正常提供服务。

  3. Zookeeper集群中每个服务器保存一份相同的数据副本,客户端无论连接哪台服务器,数据都是一致的。

  4. 更新请求顺序进行,来自同一个客户端的更新请求按其发送的顺序依次执行。

  5. 数据更新原子性,一次数据要么更新成功,要么更新失败。

  6. 实时性,在一定时间范围内,客户端能读到最新数据。

集群搭建

搭建Zookeeper集群至少需要三台服务器,并且服务器应该是奇数台。

假如集群只有两台服务器,那么其中任意一台服务器发生故障,集群就不可用了(集群中可用节点数量需要大于一半才可用),由于存在两个单点故障,因此两个服务器还不如单个服务器稳定。

下面将介绍如何在单台机器上搭建三个Zookeeper服务组成的集群。

1.创建三个dataDir:
mkdir /opt/zkdata1 /opt/zkdata2 /opt/zkdata3
2.分别在三个dataDir中创建myid文件,并在myid文件中指定服务器标识:
[root@localhost opt]# touch ./zkdata1/myid ./zkdata2/myid ./zkdata3/myid[root@localhost opt]# echo 1 > ./zkdata1/myid[root@localhost opt]# echo 2 > ./zkdata2/myid[root@localhost opt]# echo 3 > ./zkdata3/myid
3.创建三个Zookeeper配置文件,并添加集群配置:

zoo1.cfg:

tickTime=2000initLimit=10syncLimit=5# 指定数据存储位置dataDir=/opt/zkdata1# 指定客户端连接的端口clientPort=2181# 指定集群中服务器# 端口1:用于数据同步# 端口2:用于leader选举server.1=localhost:2880:3881server.2=localhost:2882:3883server.3=localhost:2884:3885

zoo2.cfg:

tickTime=2000initLimit=10syncLimit=5# 指定数据存储位置dataDir=/opt/zkdata2# 指定客户端连接的端口clientPort=2182# 指定集群中服务器# 端口1:用于数据同步# 端口2:用于leader选举server.1=localhost:2880:3881server.2=localhost:2882:3883server.3=localhost:2884:3885

zoo3.cfg:

tickTime=2000initLimit=10syncLimit=5# 指定数据存储位置dataDir=/opt/zkdata3# 指定客户端连接的端口clientPort=2183# 指定集群中服务器# 端口1:用于数据同步# 端口2:用于leader选举server.1=localhost:2880:3881server.2=localhost:2882:3883server.3=localhost:2884:3885
4.分别启动各个服务器:

依次启动服务器1、2、3。

[root@localhost opt]# ./apache-zookeeper-3.6.3-bin/bin/zkServer.sh start ./apache-zookeeper-3.6.3-bin/conf/zoo1.cfg ZooKeeper JMX enabled by defaultUsing config: ./apache-zookeeper-3.6.3-bin/conf/zoo1.cfgStarting zookeeper ... STARTED[root@localhost opt]# ./apache-zookeeper-3.6.3-bin/bin/zkServer.sh start ./apache-zookeeper-3.6.3-bin/conf/zoo2.cfg ZooKeeper JMX enabled by defaultUsing config: ./apache-zookeeper-3.6.3-bin/conf/zoo2.cfgStarting zookeeper ... STARTED[root@localhost opt]# ./apache-zookeeper-3.6.3-bin/bin/zkServer.sh start ./apache-zookeeper-3.6.3-bin/conf/zoo3.cfg ZooKeeper JMX enabled by defaultUsing config: ./apache-zookeeper-3.6.3-bin/conf/zoo3.cfgStarting zookeeper ... STARTED
5.集群搭建完毕,可以使用客户端连接任意一台服务器进行操作:

连接服务器3,创建新的节点,连接服务器1,查看新创建的节点。

[root@localhost opt]# ./apache-zookeeper-3.6.3-bin/bin/zkCli.sh -server localhost:2183[zk: localhost:2183(CONNECTED) 1] ls /[zookeeper][zk: localhost:2183(CONNECTED) 2] create /mynode1 mydata1Created /mynode1[root@localhost opt]# ./apache-zookeeper-3.6.3-bin/bin/zkCli.sh -server localhost:2181[zk: localhost:2181(CONNECTED) 1] ls /[mynode1, zookeeper]

选举机制

集群中节点状态分为以下几种:

  1. LOOKING:表示当前集群中没有leader节点,需要进行选举。

  2. LEADING:表示当前节点为leader。

  3. FOLLOWING:表示leader已经被选出,当前节点为follower。

  4. OBSERVER:表示当前节点为observer。

查看集群中各个服务器角色信息:

[root@localhost opt]# ./apache-zookeeper-3.6.3-bin/bin/zkServer.sh status ./apache-zookeeper-3.6.3-bin/conf/zoo1.cfg ZooKeeper JMX enabled by defaultUsing config: ./apache-zookeeper-3.6.3-bin/conf/zoo1.cfgClient port found: 2181. Client address: localhost. Client SSL: false.Mode: follower[root@localhost opt]# ./apache-zookeeper-3.6.3-bin/bin/zkServer.sh status ./apache-zookeeper-3.6.3-bin/conf/zoo2.cfg ZooKeeper JMX enabled by defaultUsing config: ./apache-zookeeper-3.6.3-bin/conf/zoo2.cfgClient port found: 2182. Client address: localhost. Client SSL: false.Mode: leader[root@localhost opt]# ./apache-zookeeper-3.6.3-bin/bin/zkServer.sh status ./apache-zookeeper-3.6.3-bin/conf/zoo3.cfg ZooKeeper JMX enabled by defaultUsing config: ./apache-zookeeper-3.6.3-bin/conf/zoo3.cfgClient port found: 2183. Client address: localhost. Client SSL: false.Mode: follower

可以看出服务器2被选举为leader,服务器1和服务器3为follower。选举流程如下:

  1. 服务器1和服务器2启动后进入LOOKING状态,开始进行Leader选举。

  2. 每个服务器都会发出一个投票,在初始阶段,服务器1和服务器2将投票自己作为Leader服务器,每次投票都会包含推荐服务器的myid和zxid,然后将每个投票发送给集群中的其他服务器。

  3. 集群中的每个服务器接收到投票后,首先判断投票的有效性,例如是否为当前轮投票,是否来自处于LOOKING状态的服务器。

  4. 每个服务器都会将其他服务器的投票和自己的投票进行对比,首先对比zxid,较大zxid的服务器优先作为leader。如果zxid一样,则比较myid,myid较大的优先作为leader。

  5. 由于是集群初始化阶段,每个服务器的zxid都为0,所以开始比较myid,服务器2的myid较大,所以服务器2获胜。服务器1将其投票更新为投给服务器2,并将投票重新发送给服务器2,此时服务器的票数已经超过集群节点半数,服务器2被选为leader。

  6. 一旦确定了leader,每个服务器将更新自己的状态。服务器1将状态改为FOLLOWING,服务器2将状态改为LEADING,当服务器3启动时,发现已经有一个Leader,不再进行选举,直接将状态从LOOKING改为FOLLOWING。

当作为leader的服务器2被停止后,又会重新进行leader选举。停止服务器2:

[root@localhost opt]# ./apache-zookeeper-3.6.3-bin/bin/zkServer.sh stop ./apache-zookeeper-3.6.3-bin/conf/zoo2.cfg ZooKeeper JMX enabled by defaultUsing config: ./apache-zookeeper-3.6.3-bin/conf/zoo2.cfgStopping zookeeper ... STOPPED

再次查看各个服务器角色信息:

[root@localhost opt]# ./apache-zookeeper-3.6.3-bin/bin/zkServer.sh status ./apache-zookeeper-3.6.3-bin/conf/zoo1.cfg ZooKeeper JMX enabled by defaultUsing config: ./apache-zookeeper-3.6.3-bin/conf/zoo1.cfgClient port found: 2181. Client address: localhost. Client SSL: false.Mode: follower[root@localhost opt]# ./apache-zookeeper-3.6.3-bin/bin/zkServer.sh status ./apache-zookeeper-3.6.3-bin/conf/zoo3.cfg ZooKeeper JMX enabled by defaultUsing config: ./apache-zookeeper-3.6.3-bin/conf/zoo3.cfgClient port found: 2183. Client address: localhost. Client SSL: false.Mode: leader

此时服务器3被选举为leader,原因是服务器3最近创建了节点,拥有了比服务器1更大的zxid,所以服务器3被选举为leader。(节点的变化会导致zxid递增)

数据写入流程

在Zookeeper集群中,客户端可用连接集群中任意一台服务器进行操作。

如果是读请求,则直接从当前服务器读取数据。

如果是写请求则分为以下步骤:

  1. 如果请求的服务器不是leader,则当前请求的服务器会把请求转发给leader。

  2. leader将写请求广播给各个服务器,各个服务器写成功后会通知leader。

  3. 当leader收到大多数服务器写成功的通知,则表示写入成功,leader将通知之前的接收请求的服务器,由它进一步的通知客户端写入成功。









原文转载:http://www.shaoqun.com/a/713735.html

跨境电商:https://www.ikjzd.com/

DMM:https://www.ikjzd.com/w/2026

acedota:https://www.ikjzd.com/w/2070


简介Zookeeper集群主要解决单节点故障问题以及提高整体并发访问能力。Zookeeper集群具有以下特点:Zookeeper集群有一个leader服务器和多个follower服务器,leader是运行时动态选举出来的。Zookeeper集群中只要由半数以上的节点可用,Zookeeper集群就能正常提供服务。Zookeeper集群中每个服务器保存一份相同的数据副本,客户端无论连接哪台服务器,数据
徐家骏:https://www.ikjzd.com/w/1803
e邮包:https://www.ikjzd.com/w/594.html?source=tagwish
欧舒丹:https://www.ikjzd.com/w/1756
崩溃了!签收上架速度时快时慢,卖家Q3季度补货难!:https://www.ikjzd.com/home/125166
口述:做完胸部整形手术后 老公不再摸我了:http://lady.shaoqun.com/m/a/10895.html
和新电商:https://www.ikjzd.com/w/2072

No comments:

Post a Comment