ELK实践

吃水果毫不费力zz

整体架构:
image.png
逻辑架构:
image.png

一个系统(project)包含多个服务(service),一个服务有多个副本,elk系统需要将不同系统的日志统一归集,按project-service-date归集到index便于查看系统日志,避免寻找系统所有副本日志的繁琐。
Filebeat定义所采集的系统、服务及其日志地址,发送到project-service的topic。Logstash订阅kafka以该project开头所有的topic,经过统一解析后添加日期信息,发往project-service-date的index中。
如果需要采集其他系统日志,更改filebeat的project,service及日志地址,并在logstash添加新的数据源(project-*)即可。

filebeat:采集日志发往kafka

  • input:

    • 配置日志地址,监听*All.log文件,不采集error,避免日志重复采集
    • 定义project和service
    • 配置换行,如果非日期开头,则合并至下一行,便于采集堆栈报错信息
  • Output:

    • kafka:topic为projectservice
  • 部署:

    • 把配置打进镜像,在swarm集群中以global模式部署,
    • Docker-compose中把监听的日志文件映射进容器

Logstash:解析数据发往es

  • input:kafka

    • group_id:分布式环境下group_id应该相同,可横向扩展
    • topic_pattern,通过正则处理同一project的所有topic
  • filter:

    • 经过mutate,json,grok
    • 一条日志中包含:日志时间,线程号,日志级别,日志信息。
    • 把日志时间里的日期解析出来,做为index里的date,插入es。
  • output:

    • 可根据不同的条件发送至不同的数据库
阅读 416

java开发
记录java学习与总结

啦啦啦

4 声望
0 粉丝
0 条评论
你知道吗?

啦啦啦

4 声望
0 粉丝
宣传栏