v1
  • 547

使用 logstash, elasticsearch, kibana 搭建日志分析系统

 阅读约 9 分钟

简介

Logstash:接收,处理,转发日志
Elasticsearch:文档型数据库,实时的分布式搜索和分析引擎
Kibana:查询、生成报表的web GUI


Logstash

配置

在安装目录bin文件夹里新建一个logstash.conf
填入以下配置

input { stdin {} }

filter {
    grok {
        match => ["message",  "%{COMBINEDAPACHELOG}"]
    }
}

output { stdout { codec => rubydebug } }

配置文件语法类似Ruby

  • input: 数据的来源,可以是文件,tcp等等
  • filter 以何种规则从字符串中提取出结构化的信息,grok是logstash里的一款插件,可以使用正则表达式匹配日志,上文中的%{COMBINEDAPACHELOG}是内置的正则,用来匹配apache access日志,更多pattern在这里*
  • output 配置保存解析结果,可以是文件,es数据库等多种方式

* patterns本地路径大致为:logstash-1.5.0\vendor\bundle\jruby\1.9\gems\logstash-patterns-core-0.1.10\patterns

然后执行 logstash -f logstash.conf ,windows下是logstash.bat

windows有个坑,路径中有空格会启动失败,编辑logstash.bat文件,替换第6行为
CALL "%SCRIPT_DIR%\setup.bat"

测试日志

在控制台输入一条apache日志

127.0.0.1 - - [05/May/2015:15:45:21 +0800] "GET /t/10002 HTTP/1.1" 200 7593 "http://127.0.0.1/index" "Mozilla/4.0 (compatib1e; MSIE 6.1; Windows NT)"

返回结果

可以看到原来的一行字符串,经过logstash的处理后,输出json格式的结果,得到有语义的结构化文档

以上就是Logstash的主要功能:
1. 接收日志 (input)
2. 处理成json格式的文档 (filter)
3. 输出日志 (output)


日志文件处理

再试试文件的 测试日志

input {
    file {
        path => "D:/Program Files/logstash-1.5.0/log/access_test.log"
        type => "apache"
        start_position => "beginning"
    }
}

filter { 
    grok { 
        match => {
            "message" => "%{COMBINEDAPACHELOG}"
        }
    }
    date {
        locale => "en"
        match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z", "ISO8601" ]
    }
}

output {
    file {
        path => "D:/Program Files/logstash-1.5.0/log/logstash-access_test.log"
        type => "apache"
        start_position => "beginning"
    }
}


Elasticsearch

启动与管理

安装管理监控工具Marvel

./bin/plugin -i elasticsearch/marvel/latest

启动Elasticsearch

./bin/elasticsearch

ubuntu有个,主机重启后,service启动es报touch的pid文件不存在,按修改/etc/init.d/elasticsearch

访问http://localhost:9200/?pretty查看引擎是否启动
Marvel管理地址:http://localhost:9200/_plugin/marvel/

导入数据

修改logstash.conf的output部分

output {
    elasticsearch {
        host => "127.0.0.1"
        protocol => "http"
        index => "logstash-test-%{type}-%{host}"
        workers => 5
        template_overwrite => true
    }
}

再运行一次logstash,输出的结果就导入elasticsearch了

Documents代表文档数量,大约有两万多个


kibana

启动

./bin/kibana

然后访问http://127.0.0.1:5601/

创建一个索引模式,再点击顶部的“Discover”
默认的过滤器只显示15分钟以内的日志,需要点右上角的钟表图标修改一下时间段,切换到“Absolute”标签

这里改成日志的起止时间2014-11-012015-06-1

Discover

Discover界面功能主要分四部分
1. 搜索功能,可以是Lucene语法,也开始是DSL
2. 左边可以按字段过滤,查看数量最多的Top 5
3. 很直观的反映访问量的直方图,可以自定义时间频率,右上角是当前的结果总数
4. 筛选后的文档结果

在搜索框输入 response: not 200

Visualize

下面用独立IP简单统计用户都用什么浏览器

点击 Visualize - Data Table - From a new search,填入下图左侧的查询条件







至此,日志分析平台雏形已现,已经可以从海量日志中查询我们想要的数据,更多功能及应用见下篇。









阅读 10.9k发布于 2015-06-14
推荐阅读
blog
用户专栏

舒克

4 人关注
3 篇文章
专栏主页
目录