10. 安装Kafka集群

Kafka简介

---

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

集群规划

---

	hadoop151	hadoop152	hadoop153
Kafka	√	√	√

Kafka安装

---

1. 解压到指定位置并重命名

   [hadoop@hadoop151 software]$ tar -zxvf kafka_2.11-0.11.0.2.tgz -C /opt/module/
   [hadoop@hadoop151 module]$ mv kafka_2.11-0.11.0.2/ kafka

2. 进入“kafka/config”目录下，修改server.properties文件

   broker.id=0
   delete.topic.enable=true
   log.dirs=/opt/module/kafka/logs
   zookeeper.connect=hadoop151:2181,hadoop152:2181,hadoop153:2181

3. 将kafka文件分发到其他集群上后修改broker.id值，使得集群中的每个broker.id都是唯一值。
   
   

4. 启动kafka集群（首先要启动hadoop和zookeeper）

   [hadoop@hadoop151 kafka]$ JMX_PORT=9988 bin/kafka-server-start.sh config/server.properties &
   [hadoop@hadoop152 kafka]$ JMX_PORT=9988 bin/kafka-server-start.sh config/server.properties &
   [hadoop@hadoop153 kafka]$ JMX_PORT=9988 bin/kafka-server-start.sh config/server.properties &

   

安装Kafka Manager

Kafka Manager是yahoo的一个Kafka监控管理项目。

1. 解压并重命名

   [hadoop@hadoop151 software]$ unzip kafka-manager-1.3.3.22.zip -d /opt/module/
   [hadoop@hadoop151 module]$ mv kafka-manager-1.3.3.22/ kafka-manager

2. 修改“kafka-manager/conf”下的“application.conf”文件

   kafka-manager.zkhosts="hadoop151:2181,hadoop152:2181,hadoop153:2181"

3. 启动kafka-manager

   [hadoop@hadoop151 kafka-manager]$ nohup bin/kafka-manager   -Dhttp.port=7456 >/opt/module/kafka-manager/start.log 2>&1 &

4. 打开浏览器，输入网址"http://hadoop151:7456/"
   
   
   
5. 新建集群。
   
   
6. 设置集群名称、zookeeper、kafka版本并启动JMX轮询
   
   
7. 保存后即可查看集群状态。（若之前启动flume采集数据，此处的topics应该是3）