Logstash介绍
Logstash是一个具有实时管道功能的开源数据收集引擎,Logstash可以动态地将来自不同数据源的数据统一起来,并将数据规范化为你选择的目的地,清理和大众化你的所有数据,用于各种高级下游分析和可视化用例。
虽然Logstash最初推动了日志收集方面的创新,但是它的功能远远超出了这个用例,任何类型的事件都可以通过大量的输入、过滤器和输出插件来丰富和转换,使用许多原生编解码可以进一步简化摄取过程。Logstash通过利用大量和多种数据来提高你的洞察力。
Logstash的力量
用于Elasticsearch和更多的镊取工作
具有增强Elasticsearch和Kibana协同的水平可伸缩数据处理管道
可插入管道架构
混合、匹配和编排不同的输入、过滤器和输出,使之在管道中和谐运行
社区可扩展和开发者友好的插件生态系统
超过200个插件,加上创建和贡献你自己的灵活性
Logstash喜欢数据
收集更多,这样你就能知道更多,Logstash欢迎各种形式和大小的数据。
日志和指标
这里是一切开始的地方
网络
解锁万维网
数据存储和流
从你已经拥有的数据中发现更多的价值。
- 更好地理解来自任何关系数据库或具有JDBC接口的NoSQL存储的数据
- 统一不同的数据流,如Apache Kafka、RabbitMQ和Amazon SQS
传感器和物联网
探索其他数据的广度
- 在这个技术进步的时代,庞大的物联网世界通过捕获和利用连接传感器的数据,释放出无穷无尽的用例
- Logstash是一个常见的事件收集主干,用于从移动设备发送数据到智能住宅、连接的车辆、医疗传感器和许多其他行业特定的应用程序
轻松充实一切
数据越好,知识就越好,在摄取数据时进行清理和转换,以便在索引或输出时立即获得接近实时的信息,Logstash具有许多聚合和变体,以及模式匹配、geo映射和动态查找功能。
- Grok是Logstash过滤器的基础,它被广泛地用于从非结构化数据派生结构,享受大量集成模式,以帮助快速解决web、系统、网络和其他类型的事件格式。
- 通过破译IP地址的地理坐标来扩展你的视野,规格化时间复杂性,简化键值对和CSV数据,指纹(匿名)敏感信息,并通过本地查找或Elasticsearch查询进一步丰富你的数据。
- Codecs通常用于简化处理像JSON和多行事件这样的公共事件结构。
请参阅转换数据,以了解一些流行的数据处理插件的概述。
选择你的存储
将数据路由到最重要的地方,通过存储、分析和对数据采取行为,解锁各种下游分析和操作用例。
分析
- Elasticsearch
- 数据存储,如MongoDB和Riak
归档
监控
提醒
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。