1

Logstash介绍

Logstash是一个具有实时管道功能的开源数据收集引擎,Logstash可以动态地将来自不同数据源的数据统一起来,并将数据规范化为你选择的目的地,清理和大众化你的所有数据,用于各种高级下游分析和可视化用例。

虽然Logstash最初推动了日志收集方面的创新,但是它的功能远远超出了这个用例,任何类型的事件都可以通过大量的输入、过滤器和输出插件来丰富和转换,使用许多原生编解码可以进一步简化摄取过程。Logstash通过利用大量和多种数据来提高你的洞察力。

Logstash的力量

用于Elasticsearch和更多的镊取工作

具有增强Elasticsearch和Kibana协同的水平可伸缩数据处理管道

可插入管道架构

混合、匹配和编排不同的输入、过滤器和输出,使之在管道中和谐运行

社区可扩展和开发者友好的插件生态系统

超过200个插件,加上创建和贡献你自己的灵活性

logstash.png

Logstash喜欢数据

收集更多,这样你就能知道更多,Logstash欢迎各种形式和大小的数据。

日志和指标

这里是一切开始的地方

  • 处理所有类型的日志数据

    • 很容易摄取大量的web日志(如Apache)和应用程序日志(如Java的log4j
    • 捕获许多其他日志格式,如syslog、网络和防火墙日志等等
  • 使用Filebeat享受互补的安全日志转发功能
  • GangliacollectdNetFlowJMX收集指标,和许多其他基础设施,以及TCPUDP上的应用程序平台

网络

解锁万维网

  • HTTP请求转换为事件

    • 使用像Twitter这样的web服务防火墙进行社交情绪分析
    • 对GitHub、HipChat、JIRA和无数其他应用程序的Webhook支持
    • 支持许多监控用例
  • 根据需要通过轮询HTTP端点创建事件

    • 普遍地从web应用程序接口捕获健康、性能、指标和其他类型的数据
    • 更适合于轮询控制而不是接收的场景

数据存储和流

从你已经拥有的数据中发现更多的价值。

  • 更好地理解来自任何关系数据库或具有JDBC接口的NoSQL存储的数据
  • 统一不同的数据流,如Apache KafkaRabbitMQAmazon SQS

传感器和物联网

探索其他数据的广度

  • 在这个技术进步的时代,庞大的物联网世界通过捕获和利用连接传感器的数据,释放出无穷无尽的用例
  • Logstash是一个常见的事件收集主干,用于从移动设备发送数据到智能住宅、连接的车辆、医疗传感器和许多其他行业特定的应用程序

轻松充实一切

数据越好,知识就越好,在摄取数据时进行清理和转换,以便在索引或输出时立即获得接近实时的信息,Logstash具有许多聚合和变体,以及模式匹配、geo映射和动态查找功能。

  • Grok是Logstash过滤器的基础,它被广泛地用于从非结构化数据派生结构,享受大量集成模式,以帮助快速解决web、系统、网络和其他类型的事件格式。
  • 通过破译IP地址的地理坐标来扩展你的视野,规格化时间复杂性,简化键值对和CSV数据,指纹(匿名)敏感信息,并通过本地查找或Elasticsearch查询进一步丰富你的数据。
  • Codecs通常用于简化处理像JSON多行事件这样的公共事件结构。

请参阅转换数据,以了解一些流行的数据处理插件的概述。

选择你的存储

将数据路由到最重要的地方,通过存储、分析和对数据采取行为,解锁各种下游分析和操作用例。

分析

归档

监控

提醒


博弈
2.5k 声望1.5k 粉丝

态度决定一切


引用和评论

0 条评论