docker默认的日志驱动是json-file,每一个容器都会在本地生成一个/var/lib/docker/containers/containerID/containerID-json.log,而日志驱动是支持扩展的,本章主要讲解的是使用logstash收集docker日志.

Logstash的基本骨架一个 Logstash 配置的基本组件包括, input, codec, filter, output, 其中过滤器filter, codec不是必须的.

Logstash是一个具有实时管道功能的开源数据收集引擎，Logstash可以动态地将来自不同数据源的数据统一起来，并将数据规范化为你选择的目的地，清理和大众化你的所有数据，用于各种高级下游分析和可视化用例。

日志收集流程描述注意：当es集群重启后记得在kibana中执行 {代码...} tomcat 日志收集filebeat conf {代码...} logstash {代码...} k8s logs (在jenkins ) {代码...} logstash-template.yaml {代码...} {代码...}

像Debian Jessie、Ubuntu 15.10+和许多SUSE衍生发行版都使用systemd和systemctl命令来启动和停止服务，Logstash将系统单元文件放在/etc/systemd/system中，分别用于deb和rpm，在安装包之后，你可以启动Logstash：

建立工作目录：/data/docker {代码...} docker-compose.yml 文件： {代码...} 启动elk容器 {代码...} 查看 kibana 的 IP：172.18.0.7 进入 metricbeat 容器： {代码...} 进入目录：cd /usr/share/metricbeat 执行命令加载 Dashboard： ./metricbeat setup -E setup.kibana.host=172.18.0.7:5601 这样就可以在 kibana 上...

logback-logstash配置 pom依赖 {代码...} logback.xml {代码...} logstash.conf {代码...} kibana [链接]

Mac 安装Logstash(使用Homebrew进行安装) 1.使用Homebrew进行安装 1.1 首先需要点击Elastic Homebrew存储库 {代码...} 1.2 点击Elastic Homebrew存储库后，可以brew install用来安装Logstash的默认发行版 {代码...} 2.使用Homebrew进行Logstash启动 2.1 要立即启动启动elastic / tap / logstash-full并在登录时重新启动 ...

elasticSearch Docker安装elasticsearch： {代码...} 启动： {代码...} logstash Docker安装logstash {代码...} 配置： 运行容器： {代码...} 创建配置文件目录，设置权限： {代码...} 拷贝配置文件： {代码...} 删除容器： {代码...} 重新运行容器： {代码...} logstash-sample.conf配置： {代码...} 注：驱动程序这里...

安装Filebeat官方文档：[链接] {代码...} 配置文件路径 {代码...} 启动服务 {代码...} 查看日志 {代码...} 安装Logstash官方文档：[链接] {代码...} 安装 {代码...} 测试 {代码...} 配置文件 {代码...} 启动 {代码...}

windows下安装Logstash Logstash功能图 下载Logstash的安装包(当前下载的版本为5.5.1) [链接] 使用Nssm命令行管理logstash服务，下载地址：[链接] 安装步骤： 解压Logstash到文件夹下 将NSSM解压并将nssm.exe拷贝到logstash的bin目录下 cmd命令行进入到logstash的bin文件夹下 nssm install logstash,弹出如下界面: Path:...

要配置Logstash，你需要创建一个配置文件，指定要使用的插件和每个插件的设置，你可以在配置中引用事件字段，并在事件满足某些条件时使用条件来处理它们，运行logstash时，使用-f指定配置文件。

在定义Logstash处理管道的各个阶段时，你将创建管道配置文件，在deb和rpm上，将管道配置文件放在/etc/logstash/conf.d目录中，Logstash尝试在/etc/logstash/conf.d目录中只加载扩展名为.conf的文件并忽略所有其他文件。

4. 启动时会发现 /usr/share/elasticsearch/data 目录没有访问权限，只需要修改 /mydata/elasticsearch/data 目录的权限，再重新启动即可；

在我向logstash写日志之前，已经有同事向Logstash写过日志了。当时只是知道logstash的ip和端口，没有搞清楚协议，所以没有写进去。

在配置Logstash时，你可能需要指定敏感设置或配置，比如密码，与依赖文件系统权限来保护这些值不同，你可以使用Logstash keystore来安全地存储用于配置设置的secret值。

强烈建议安装去es的官网安装： 今天是2019.4.9，目前最新的版本是6.7.1，三个都装6.7.1版本(版本最好一致，否则会有各种疑难杂症)elasticsearch: [链接]logstash: [链接]kibana:[链接]

ELK即Elasticsearch、Logstash、Kibana,组合起来可以搭建线上日志系统，本文主要讲解使用ELK来收集SpringBoot应用产生的日志。

Logstash管道有两个必需的元素，input和output，以及一个可选的元素，filter。输入插件使用来自源的数据，过滤器插件根据你的指定修改数据，输出插件将数据写入目的地。

{代码...} {代码...}