使用Docker快速建立一个Kafka实例

0 前言

Kafka作为近几年十分流行，虽然它自己定位为一个分布式流结构平台'distributed streaming platform'，但是我们大部分时间还是当做是一个MQ来使用:P。

刚好最近也在研究Kafka，需要为准备一下开发环境作为研究开发测使用。

Docker也是一个十分流行的虚拟应用容器平台，能够将主流的开源框架以容器的方式管理起来，通过组合基础容器，构建出更复杂的应用服务，令构建环境的成本大大降低。例如之前在机器学习的项目里面，很轻松的不影响host环境的情况下，快速的将conda+tenserflow+keras等机器学习主要的开源框架整合起来。不喜欢的话删掉image，重新以新版本构建，也是非常快捷的。

适应了这个思路，因此这次环境的搭建，也是以Docker+kafka作为实施的目标，其中的过程，记录下这篇文章作为日后的参考及回顾。

1 安装docker及docker-compose

上述官方文档也描述的比较清晰了，这里也不在赘述。

docker安装可以参考

docker-compose安装可以参考

2 寻找docker镜像

有了Docker这个平台之后，每当需要有开源环境的的框架需要搭建，都可以第一时间去docker hub上面找一下有没有对应的官方docker镜像。搜索了一下发型，Kafka并没有提供官方的镜像，能找到的都是一些社区维护的镜像包。如：wurstmeister/kafka等。<p>
该镜像虽然不是官方维护的，但是依然有25M+的docker pull，及接近700的点赞量是docker hub上同类型镜像最高的评分。所以此次优先选择这个镜像作服务的基础。

3 定义docker-compose

这里我们引入docker-compose的概念，对于docker-compose我们，可以这么理解：docker-Compose = n * docker container = a complex service。

由于Kafka的基于集群的高可用特性是建基于Zookeeper（称zk）之上的，因此构建可用的Kafka镜像，是需要依赖于zk基础的。因此需要用到docker-compose，将不同的容器组合成为一个完整的的服务。<p>构建建立一个多个container组合的服务，需要独立的docker-compose.yml文件。

version: '3'
<!-- docker-compose的兼容版本，可以按实际的docker的大版本号配置 -->
services:
<!--定义zk层服务-->
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
<!--定义Kafka层-->
  kafka:
    image: wurstmeister/kafka
    <!--优先使用基础镜像，而不是本地Dockerfile的重新构建方式，实际情况可以与build配置项二选一，因此下面一行注释掉-->
    <!--build: .-->
    depends_on: [ zookeeper ]
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 47.106.143.76
      KAFKA_CREATE_TOPICS: "test:1:1"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

按照上面的docker-compose.yml文件，可以将zk和Kafka整合为一个服务包，这里的基础思路是，能够有基础镜像的，优先使用基础镜像，否则才使用dockerfile的重新构建方式。

docker-compose.yml的对容器进行更进一步的自定义方式，可以参考docker-compose的官方文档。

4 打包服务

将路径切换到与docker-compose.yml文件一致的目录下，将定义好的服务打包：

[root@somehost kafka]# docker-compose build
zookeeper uses an image, skipping
kafka uses an image, skipping

之后就可以使用docker-compose up -d命令将启动

[root@somehost kafka]# docker-compose up -d
Starting kafka_kafka_1     ... done
Starting kafka_zookeeper_1 ... done
[root@somehost kafka]#

类似的停止服务可以使用docker-compose stop命令。
需要注意的是，docker-compose所操作的服务，都是需要根据当前目录下的docker-compose.yml文件所定义，没找到这个定义，docker-compose会无法得知操作哪个服务。

5 测试服务

Docker的服务起来之后，我们就可以测试服务，这里我们可以使用docker自带的cli工具进行基本的测试，后续有机会我们再使用API调用方式测试服务。

首先我们需要检查已经启动的容器

[root@somehost kafka]# docker ps -a
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS              PORTS                                                NAMES
2c3e1aacdd56        wurstmeister/kafka       "start-kafka.sh"         2 hours ago         Up 2 minutes        0.0.0.0:9092->9092/tcp                               kafka_kafka_1
20cd04496a9c        wurstmeister/zookeeper   "/bin/sh -c '/usr/sb…"   2 days ago          Up 2 minutes        22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp   kafka_zookeeper_1
[root@somehost kafka]#

从上面可以看到Kafka的container id为2c3e1aacdd56，我们可以采用下述命令行的方式进入该容器中：

docker exec -it {container id} /bin/bash

[root@somehost kafka]# docker exec -it 2c3e1aacdd56 /bin/bash
bash-4.4#
bash-4.4# ls -al
total 72
drwxr-xr-x    1 root     root          4096 Jul 13 02:00 .
drwxr-xr-x    1 root     root          4096 Jul 13 02:00 ..
-rwxr-xr-x    1 root     root             0 Jul 13 02:00 .dockerenv
drwxr-xr-x    1 root     root          4096 Apr 15 16:03 bin
drwxr-xr-x    5 root     root           340 Jul 13 03:29 dev
drwxr-xr-x    1 root     root          4096 Jul 13 02:00 etc
drwxr-xr-x    2 root     root          4096 Jan  9  2018 home
drwxr-xr-x    5 root     root          4096 Jul 13 02:00 kafka
drwxr-xr-x    1 root     root          4096 Apr 15 16:03 lib
drwxr-xr-x    2 root     root          4096 Apr 15 16:03 lib64
drwxr-xr-x    5 root     root          4096 Jan  9  2018 media
drwxr-xr-x    2 root     root          4096 Jan  9  2018 mnt
drwxr-xr-x    1 root     root          4096 Apr 15 16:03 opt
dr-xr-xr-x  101 root     root             0 Jul 13 03:29 proc
drwx------    2 root     root          4096 Jan  9  2018 root
drwxr-xr-x    1 root     root          4096 Jul 13 02:00 run
drwxr-xr-x    1 root     root          4096 Apr 15 16:03 sbin
drwxr-xr-x    2 root     root          4096 Jan  9  2018 srv
dr-xr-xr-x   13 root     root             0 Jul 13 03:29 sys
drwxrwxrwt    1 root     root          4096 Jul 13 03:29 tmp
drwxr-xr-x    1 root     root          4096 Apr 15 16:03 usr
drwxr-xr-x    1 root     root          4096 Apr 15 16:03 var
bash-4.4#

如上，就可以看见kafka容器里面的内容了。

再执行Kafka-cli的测试工具

<!--配置环境变量-->
bash-4.4# export ZK=zookeeper:2181
bash-4.4# echo $ZK
zookeeper:2181

<!--运行Kafka提供的CLI系列工具-->
bash-4.4# $KAFKA_HOME/bin/kafka-topics.sh --create --topic topic --partitions 4 --zookeeper $ZK --replication-factor 1
Created topic "topic".

至此，一个docker完整的ZK+Kafka容器服务就开启了，虽然离生产节点还有些距离，但是已经可以在上面建立完整的应用开发了。有机会再聊。

参考文献

Kafka说明文档
docker说明文档
docker-compose说明文档
wurstmeister/kafka docker镜像说明文档