ActiveMQ+ZooKeeper 集群整合

前言

本案例使用的是真集群方式，准备三台主机，IP分别为192.168.100.142、192.168.100.143、192.168.100.144

伪集群部署请看：ActiveMQ+ZooKeeper 伪集群整合
如果需要了解ActiveMQ集群部署的整体概念，可以参考我这篇文章：ActiveMQ集群整体认识

原理简介：
一般在部署ActiveMQ集群的时候，更倾向于使用基于ZooKeeper的Replicated LevelDB Store方式，该方式是Master Slave部署方案的其中一种策略，也是在多台主机实现ActiveMQ集群的主流部署方式。 此教程只保证了高可用性。要想保证负载均衡得再结合Broker Clusters 部署方案，配置网络连接器。

工作流程：
在ZooKeeper中管理多个Broker节点，根据 Master选举策略让其中一个 Broker选举为Master（只有Master才具备对外提供服务的能力），剩下Broker为slave。
编码时，client端（消费者）通过failover协议来连接ActiveMQ集群。

一、服务器配置

1. ZooKeeper集群

ZooKeeper集群保证ZooKeeper本身的高可用性。

1.1 修改ZK配置文件conf/zoo.cfg

主机IP	服务端口（默认）	集群通信端口	节点目录/opt/下
192.168.100.142	2181	2888:3888	zookeeper
192.168.100.143	2181	2888:3888	zookeeper
192.168.100.144	2181	2888:3888	zookeeper

集群通信端口：第一个端口是master和slave之间的通信端口，默认是2888；第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888。

在3台主机上都安装zookeeper服务，/opt/zookeeper，并分别配置它们的文件conf/zoo.cfg:

• 主机1(192.168.100.142)：
  /opt/zookeeper/conf/zoo.cfg:

  # zookeeper的数据存储和日志存储目录（如果目录不存在就新建）
  dataDir=/opt/zookeeper/data
  dataLogDir=/opt/zookeeper/log
  
  # zk集群之间的通信地址
  server.1=192.168.100.142:2888:3888
  server.2=192.168.100.143:2888:3888
  server.3=192.168.100.144:2888:3888

  创建/opt/zookeeper/data/myid文件,填入数字1：

  # 由于该主机1（192.168.100.142）是server.1，所以在myid中设置数字1
  $ vim /opt/zookeeper/data/myid

• 主机2（192.168.100.143）：
  /opt/zookeeper/conf/zoo.cfg:

  dataDir=/opt/zookeeper/data
  dataLogDir=/opt/zookeeper/log
  
  server.1=192.168.100.142:2888:3888
  server.2=192.168.100.143:2888:3888
  server.3=192.168.100.144:2888:3888

  创建/opt/zookeeper/data/myid文件,填入数字2：

  # 由于该主机2（192.168.100.143）是server.2，所以在myid中设置数字2
  $ vim /opt/zookeeper/data/myid

• 主机3（192.168.100.143）：
  /opt/zookeeper/conf/zoo.cfg:

  dataDir=/opt/zookeeper/data
  dataLogDir=/opt/zookeeper/log
  
  server.1=192.168.100.142:2888:3888
  server.2=192.168.100.143:2888:3888
  server.3=192.168.100.144:2888:3888

  创建/opt/zookeeper/data/myid文件,填入数字3：

  # 由于该主机3（192.168.100.144）是server.3，所以在myid中设置数字3
  $ vim /opt/zookeeper/data/myid

1.2 分别启动zookeeper服务

$ /opt/zookeeper/bin/zkServer.sh start # 启动zk服务
$ /opt/zookeeper/bin/zkServer.sh status # 查看zk服务状态

2. ActiveMQ集群

2.1 修改ActiveMQ配置文件conf/activemq.xml和conf/jetty.xml

主机IP	服务端口(默认)	复制协议端口（动态）	jetty控制台端口（默认）	节点目录/opt/下
192.168.100.142	61616	tcp://0.0.0.0:0	8161	activemq/node1
192.168.100.143	61616	tcp://0.0.0.0:0	8161	activemq/node2
192.168.100.144	61616	tcp://0.0.0.0:0	8161	activemq/node3

在3台主机上都安装activemq 服务，/opt/activemq，并分别配置它们的文件conf/activemq.xml和conf/jetty.xml:

• 主机1(192.168.100.142)：
  /opt/activemq/conf/activemq.xml：

  <!-- 持久化的部分为ZooKeeper集群连接地址-->  
  <persistenceAdapter>  
      <replicatedLevelDB  
        directory="${activemq.data}/leveldb"  
        replicas="3"  
        bind="tcp://0.0.0.0:0"  
        zkAddress="192.168.100.142:2181,192.168.100.143:2181,192.168.100.144:2181"   
        zkPath="/opt/activemq/leveldb-stores"  
        hostname="192.168.100.142"  
        />  
  </persistenceAdapter>
  <!-- 
  # directory： 存储数据的路径
  # replicas：集群中的节点数【(replicas/2)+1公式表示集群中至少要正常运行的服务数量】，3台集群那么允许1台宕机， 另外两台要正常运行  
  # bind：当该节点成为master后，它将绑定已配置的地址和端口来为复制协议提供服务。还支持使用动态端口。只需使用tcp://0.0.0.0:0进行配置即可，默认端口为61616。 
  # zkAddress：ZK的ip和port， 如果是集群，则用逗号隔开(这里作为简单示例ZooKeeper配置为单点， 这样已经适用于大多数环境了， 集群也就多几个配置) 
  # zkPassword：当连接到ZooKeeper服务器时用的密码，没有密码则不配置。 
  # zkPah：ZK选举信息交换的存贮路径，启动服务后actimvemq会到zookeeper上注册生成此路径   
  # hostname： ActiveMQ所在主机的IP
  # 更多参考：http://activemq.apache.org/replicated-leveldb-store.html
  -->

  /opt/activemq/conf/jetty.xml：

  <bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
      <property name="host" value="0.0.0.0"/>
      <property name="port" value="8161"/> <!-- 在这里修改端口为8161,默认就是8161 -->
  </bean>

• 主机2(192.168.100.143)：
  /opt/activemq/conf/activemq.xml：

  <persistenceAdapter>  
      <replicatedLevelDB  
        directory="${activemq.data}/leveldb"  
        replicas="3"  
        bind="tcp://0.0.0.0:0"  
        zkAddress="192.168.100.142:2181,192.168.100.143:2181,192.168.100.144:2181"   
        zkPath="/opt/activemq/leveldb-stores"  
        hostname="192.168.100.143"  
        />  
  </persistenceAdapter>

  /opt/activemq/conf/jetty.xml：

  <bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
      <property name="host" value="0.0.0.0"/>
      <property name="port" value="8161"/> <!-- 在这里修改端口为8161,默认就是8161 -->
  </bean>

• 主机3(192.168.100.144)：
  /opt/activemq/conf/activemq.xml：

  <persistenceAdapter>  
      <replicatedLevelDB  
        directory="${activemq.data}/leveldb"  
        replicas="3"  
        bind="tcp://0.0.0.0:0"  
        zkAddress="192.168.100.142:2181,192.168.100.143:2181,192.168.100.144:2181"   
        zkPath="/opt/activemq/leveldb-stores"  
        hostname="192.168.100.144"  
        />  
  </persistenceAdapter>

  /opt/activemq/conf/jetty.xml：

  <bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
      <property name="host" value="0.0.0.0"/>
      <property name="port" value="8161"/> <!-- 在这里修改端口为8161,默认就是8161 -->
  </bean>

2.2 依次启动activemq服务

$ /opt/activemq/bin/activemq start # 启动activemq服务

$ ps -ef|grep activemq # 检查进程是否运行，即activemq是否启动成功
$ netstat -anp|grep 61616 # 查看服务端口61616，监听情况

三、Client使用

该zookeeper+activemq的集群Master Slave部署方案，能够提供(3-1)/2的容错率，即3台服务器允许宕机一台，而不影响整个集群的对外提供服务。

编写代码连接时使用failover策略：

String url = failover:(tcp://192.168.100.142:61616,tcp://192.168.100.143:61616,tcp://192.168.100.144:61616)?initialReconnectDelay=1000