其实在这样的一个云计算时代, Docker 早就已被人众所周知了,它改变了传统物理机的虚拟化方式,使得机器的资源得到了高效的利用. 因为运行在 Docker 中的应用实际上就是运行在宿主机上的, 所以它是不需要进行硬件层面的虚拟化以及运行一个完整操作系统来支持. 于是在应用代码的执行效率, 内存的使用以及文件的读取速度都比...

在 ElasticStack 出5.0之前，对于 ELK 的监控有着五花八门的解决方案，官方的插件也是各种变化，不仅名字乱而且还要一个个安装。当然，官方也考虑到了大家的疾苦，于是推出了 X-Pack 这个套件专门用来做监测。总共包含：安全，警报，监控，监控，报告，图表这五个功能，这里简单介绍下安全监控与报警。

在上一篇中我们基本上完成了 ELK 和 Kafka 环境的安装，并且也通过几个简单的例子入门。现在我们就把搭建好的架构中加入 Kakfa 作为缓冲区。再来说一下，首先 Logstash 从日志源读取日志并且存储到 Kafka，然后 Logstash 再从 Kafka 中读取日志存储到 Elasticsearch。所以我们需要两步骤。

Kafka 是由 Linked 开发并且开源的一套分布式的流平台，它类似于一个消息队列。 Kafka 的优势就是适合构建实时的流数据管道，并且可靠地获取系统和应用程序之间的数据， 还可以实时的对数据流进行转换。Kafka 的使用场景很多， 特别是在需要高吞吐量的系统上。首先来理解一下 Kafka 的几个基本的概念：

基于Docker的好处还有一个就是不用去考虑环境的搭建，直接一个Dockerfile就可以直接搞定了，而且现在的热门开源软件，都有官方维护的镜像。这里基于docker-elk和docker-kafka这两个基础镜像制作。前者是在对x-Pack的支持上有问题，配置文件不足而且错误，这里进行了一些修改和调整。

传统的Web开发中，日志可能并不被重视，只有应用出现问题后，才会适时性的去看一眼。而且日志的储存方式也很简单，直接写入一个文本文件或者扔到数据库中就了事了。这样对于单机应用来说没有什么不可以的，可是当系统架构分布式后，官网、论坛、社交、交易等各个大大小小的子系统越来越多，再加上操作系统、应用服务、业...