问题描述
现有一个这样的需求,从日志中获取到访问的域名/IP,想在filter中匹配出网站的类型和中文名称。
网站的类型和中文名称存储在一个数据库文件中,就和字典一样,有就增加网站类型和网站名称的字段,没有就置空。
例如,从日志中采集到访问网站的域名为:www.baidu.com,则在filter中可设置匹配网站数据库,匹配到的结果为:网站类型:搜索类,网站名称:百度搜索,则在字段中增加“网站类型:搜索类,网站名称:百度搜索”的字段。
这个需求和GeoIP很像,从一个IP地址匹配出经纬度、地区等信息,也是基于一个数据库文件。
自己写filter插件
或者曲线救国
安装rest过滤器
https://github.com/lucashenni...
把数据存在数据库中,再开发一个rest的接口,logstash插件读取该接口的数据