写在前面的话
最近干起了运维的活；代码改造，搭建elk，搭建告警，此处做些个总结。
环境介绍
Ubuntu14
Elasticsearch 5.1.2
Kibana 5.1.2
安装
官网网址：
https://elastalert.readthedoc...
执行：
git clone https://github.com/Yelp/elastalert.git
cd elastalert
python setup.py install //可能需要sudo
Pip install -r requirements.txt //可能需要sudo
cp config.yaml.example config.yaml
注意如果你用的是elk5.0, elastalert master还不支持，你需要自己切换分支到 support_es5
结构介绍
安装完成后会自带三个命令：
elastalert-create-index ElastAlert 会把执行记录存放到一个 ES 索引中，该命令就是用来创建这个索引的，默认情况下，索引名叫 elastalert_status。其中有 4 个 _type，都有自己的 @timestamp 字段，所以同样也可以用 kibana 来查看这个索引的日志记录情况。
注意：实际上，kibana5.0上并不能打开此索引，可能是兼容性问题，日后在想办法。
elastalert-rule-from-kibana 从 Kibana3 已保存的仪表盘中读取 Filtering 设置，帮助生成 config.yaml 里的配置。不过注意，它只会读取 filtering，不包括 queries。
没使用过
elastalert-test-rule 测试自定义配置中的 rule 设置。
注意：es5的话还不支持 test 功能
基本使用
运行命令，加载所有rules:
python -m elastalert.elastalert --config ./config.yaml
或者单独执行 rules_folder 里的某个 rule：
python -m elastalert.elastalert --config ./config.yaml --rule ./examele_rules/one_rule.yaml
Elastalert支持的警告类型
Command
Email
JIRA
OpsGenie
SNS
HipChat
Slack
Telegram
Debug
详见：http://elastalert.readthedocs...
配制结构
和 Watcher 类似(或者说也只有这种方式)，ElastAlert 配置结构也分几个部分，但是它有自己的命名。(Watcher快出个官方工具吧，纯接口太累了)
config.ymal中的配置项
Rules_folder：用来加载下一阶段rule的设置，默认是example_rules
Run_every：用来设置定时向elasticsearch发送请求
Buffer_time：用来设置请求里时间字段的范围，默认是45分钟
Es_host：elasticsearch的host地址
Es_port：elasticsearch 对应的端口号
Use_ssl：可选的，选择是否用SSL连接es，true或者false
Verify_certs：可选的，是否验证TLS证书，设置为true或者false，默认为- true
Es_username：es认证的username
Es_password：es认证的password
Es_url_prefix：可选的，es的url前缀（我的理解是https或者http）
Es_send_get_body_as：可选的，查询es的方式，默认的是GET
Writeback_index：elastalert产生的日志在elasticsearch中的创建的索引
Alert_time_limit：失败重试的时间限制
详见：http://elastalert.readthedocs...
Elastalert的rule规则
name：配置，每个rule需要有自己独立的name，一旦重复，进程将无法启动。
type：配置，选择某一种数据验证方式。
index：配置，从某类索引里读取数据，目前已经支持Ymd格式，需要先设置 use_strftime_index:true，然后匹配索引，配置形如：index: logstash-es-test%Y.%m.%d，表示匹配logstash-es-test名称开头，以年月日作为索引后缀的index。
filter：配置，设置向ES请求的过滤条件。
timeframe：配置，累积触发报警的时长。
-
alert：配置，设置触发报警时执行哪些报警手段。不同的type还有自己独特的配置选项。目前ElastAlert 有以下几种自带ruletype：
any：只要有匹配就报警；
blacklist：compare_key字段的内容匹配上 blacklist数组里任意内容；
whitelist：compare_key字段的内容一个都没能匹配上whitelist数组里内容；
change：在相同query_key条件下，compare_key字段的内容，在 timeframe范围内 发送变化；
frequency：在相同 query_key条件下，timeframe 范围内有num_events个被过滤出 来的异常；
spike：在相同query_key条件下，前后两个timeframe范围内数据量相差比例超过spike_height。其中可以通过spike_type设置具体涨跌方向是- up,down,both 。还可以通过threshold_ref设置要求上一个周期数据量的下限，threshold_cur设置要求当前周期数据量的下限，如果数据量不到下限，也不触发；
flatline：timeframe 范围内，数据量小于threshold 阈值；
new_term：fields字段新出现之前terms_window_size(默认30天)范围内最多的terms_size (默认50)个结果以外的数据；
cardinality：在相同 query_key条件下，timeframe范围内cardinality_field的值超过 max_cardinality 或者低于min_cardinality
测试 demo
背景：我已尽用docker 搭建好了elk，日志已经接入，就差告警了。
按优先级，有个需求，就是日志 status > 500 时候就行告警。
先在kibana 上把查询语句调试好了,比较简单
status: >=500
编辑elastalert下的config.yaml文件
rules_folder: example_rules
run_every:
seconds: 5 #代表每5秒钟轮询query es。
# ElastAlert will buffer results from the most recent
# period of time, in case some log sources are not in real time
buffer_time:
minutes: 5 #因为日志进入elk会有延迟，可以配制query 的向前的时间范围，这是5分钟，即查询 time[now-5m, now], 这样包括了相对多的日志数了。
# The elasticsearch hostname for metadata writeback
# Note that every rule can have it's own elasticsearch host
es_host: 192.168.1.100
es_port: 9200
#邮箱告警必配
smtp_host: smtp.sina.com
smtp_port: 465
#保存了邮箱验证的账号密码信息
smtp_auth_file: example_rules/smtp_auth_file.yaml
from_addr: xxxx@sina.com
use_ssl: False
# Option basic-auth username and password for elasticsearch
#es_username: someusername
#es_password: somepassword
#elastalert 需要在 es保存数据，这是实用的索引名称，可默认
writeback_index: elastalert_status
# If an alert fails for some reason, ElastAlert will retry
# sending the alert until this time period has elapsed
alert_time_limit:
days: 2
编辑example_rules/example_test.yaml 文件内容如下：
# Alert when the rate of events exceeds a threshold
# (Optional)
# Elasticsearch host
#es_host: 192.168.1.100
# (Optional)
# Elasticsearch port
#es_port: 9200
# (OptionaL) Connect with SSL to Elasticsearch
#use_ssl: false
# (Optional) basic-auth username and password for Elasticsearch
#es_username: someusername
#es_password: somepassword
# (Required)
# Rule name, must be unique
name: name_alert_qycloud_status_error
# (Required)
# Type of alert.
# the frequency rule type alerts when num_events events occur with timeframe time
type: frequency
# (Required)
# Index to search, wildcard supported
＃此规则查询所使用的索引
index: monitor-*
# (Required, frequency specific)
# Alert when this many documents matching the query occur within a timeframe
num_events: 5
# (Required, frequency specific)
# num_events must occur within this amount of time to trigger an alert
timeframe:
minutes: 5
# (Required)
# A list of Elasticsearch filters used for find events
# These filters are joined with AND and nested in a filtered query
# For more info: http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl.html
＃此处是es5 的写法
filter:
- query_string:
query: "status: >=500"
# (Required)
# The alert is use when a match is found
alert:
#- "email"
- "debug"
- "command"
＃我这是用告警使用命令行，自定义更好
pipe_match_json: true
command: ["/home/df/elastalert/php_alert.php"]
# (required, email specific)
# a list of email addresses to send alerts to
email:
- "xxxxx@qq.com"上面的规则，说明在5分钟的时间窗口中，如果status: >=500 达到5次，就就行告警。
启动elastalert服务，监听elasticsearch
python -m elastalert.elastalert --verbose --rule example_rules/example_test.yaml看下运行情况：
INFO:elastalert:Sleeping for 4 seconds
INFO:elastalert:Queried rule name_alert_qycloud_status_error from 2017-01-29 20:05 CST to 2017-01-29 20:10 CST: 6 / 6 hits
INFO:elastalert:Alert for name_alert_qycloud_status_error at 2017-01-29T12:10:21.651Z:
INFO:elastalert:name_alert_qycloud_status_error
At least 5 events occurred between 2017-01-29 20:05 CST and 2017-01-29 20:10 CST
@read_timestamp: 2017-01-29T12:10:24.043Z
@timestamp: 2017-01-29T12:10:21.651Z
@version: 1
_id: AVnqGcU6GEG-kKWj4PKc
_index: monitor-2017.01.29
_type: json_php_monitor
app: AYSaaS-master
beat: {
"hostname": "dfdeMacBook-Air.local",
"name": "dfdeMacBook-Air.local",
"version": "5.1.1"
}
client: 127.0.0.1
elapsed: 0
ent_id:
error:
......
.......在看下告警使用的php脚本内容，只是保存告警的第一条log信息：
$fp = fopen('php://stdin', 'r');
$result = '';
while(!feof($fp)) {
$result .= fgets($fp, 128);
}
fclose($fp);
file_put_contents('/tmp/alert_test', $result . "\r\n");关于邮件报警配制
还没有配制成功。。
主要关注的配制参数：
#邮箱告警必配
smtp_host: smtp.sina.com
smtp_port: 465
#保存了邮箱验证的账号密码信息
smtp_auth_file: example_rules/smtp_auth_file.yaml
from_addr: xxxx@sina.comsmtp_auth_file.yaml 内容：
user:xxx
password: xxx
参考网址
http://kibana.logstash.es/con...
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。