Elasticsearch输入插件 插件版本：v4.3.0 发布于：2019-02-04 更新日志 对于其他版本，请参阅版本化插件文档。 获取帮助 有关插件的问题，请在讨论论坛中打开一个主题，对于错误或特性请求，请在Github中打开一个问题，关于Elastic支持的插件列表，请考虑Elastic支持矩阵。 描述 兼容性说明 从Elasticsearch 5.3开始，有...

Websocket输出插件 插件版本：v3.0.5 发布于：2018-04-06 更新日志 其他版本，请参阅版本化的插件文档。 安装 对于没有默认绑定的插件，通过运行bin/logstash-plugin install logstash-output-websocket很容易安装，有关更多细节，请参阅使用插件。 获取帮助 有关插件的问题，请在讨论论坛中打开一个主题，对于bug或特性...

输出插件 输出插件将事件数据发送到特定的目的地，输出是事件管道的最后阶段。 下面是一些输出插件，有关Elastic支持插件的列表，请参阅支持矩阵。 插件 描述 Github仓库 boundary 根据Logstash事件向Boundary发送注解 logstash-output-boundary circonus 根据Logstash事件向Circonus发送注解 logstash-output-circonus ...

过滤器插件 过滤器插件对事件执行中间处理，过滤器通常根据事件的特征有条件地应用。 下面是一些过滤器插件，有关Elastic支持插件的列表，请参阅支持矩阵。 插件 描述 Github仓库 aggregate 聚合来自单个任务的多个事件的信息 logstash-filter-aggregate alter 对mutate过滤器无法处理的字段执行一般更改 logstash-filte...

编解码器插件 编解码器插件改变事件的数据表示，编解码器本质上是流过滤器，可以作为输入或输出的一部分操作。 下面是一些编解码器插件，有关Elastic支持插件的列表，请参阅支持矩阵。 插件 描述 Github仓库 avro 将序列化的Avro记录读取为Logstash事件 logstash-codec-avro cef 读取ArcSight Common Event Format（CEF...

输入插件 输入插件允许Logstash读取特定的事件源。 下面是一些可用的输入插件，有关Elastic支持插件的列表，请参阅支持矩阵。 插件 描述 Github仓库 azure_event_hubs 从Azure事件中心接收事件 azure_event_hubs beats 从Elastic Beats框架接收事件 logstash-input-beats cloudwatch 从Amazon Web服务CloudWatch API提取...

Date过滤器插件 插件版本：v3.1.9 发布于：2017-11-07 更改日志 其他版本，请参阅版本化的插件文档。 获取帮助 有关插件的问题，请在讨论论坛中打开一个主题，对于bug或特性请求，在Github中打开一个issue，关于Elastic支持的插件列表，请考虑Elastic支持矩阵。 描述 date过滤器用于解析字段中的日期，然后使用该日期或...

File输出插件 插件版本：v4.2.5 发布于：2018-06-28 更新日志 其他版本，请参阅版本化的插件文档。 获取帮助 有关插件的问题，请在讨论论坛中打开一个主题，对于bug或特性请求，在Github中打开一个issue，关于Elastic支持的插件列表，请考虑Elastic支持矩阵。 描述 该输出将事件写入磁盘上的文件，你可以使用事件中的字...

确定向何处发送监控数据，这个集群通常称为生产集群，有关典型监控体系结构的示例，请参阅监视如何工作。 要将Logstash可视化为Elastic Stack的一部分（如步骤6所示），请将指标发送到你的生产集群，将指标发送到专用的监控集群将显示监控集群下的Logstash指标。

我们努力维护小版本之间的向后兼容性(例如6.x到6.y)，这样你就可以在不更改任何配置文件的情况下进行升级，重要更改通常只在主要版本（例如5.x到6.y)介绍，有时，为了确保操作的正确性，我们不得不在给定的主要版本中中断兼容性。

X-Pack是Elastic Stack扩展，它提供了安全、警报、监控、机器学习、管道管理等功能，默认情况下，在安装Logstash时，会安装X-Pack。

从命令行运行Logstash 要从命令行运行Logstash，请使用以下命令： {代码...} 命令行标记选项是你可以指定它们来控制Logstash的执行，bin目录的位置因平台而异，查看Logstash目录布局以找到你系统上bin\Logstash的位置。 下面的示例运行Logstash配置，并加载mypipeline.conf文件中定义的Logstash的配置： {代码...} 在命...

在配置Logstash时，你可能需要指定敏感设置或配置，比如密码，与依赖文件系统权限来保护这些值不同，你可以使用Logstash keystore来安全地存储用于配置设置的secret值。

Logstash在其操作期间发出内部日志，这些日志位于LS_HOME/logs（或/var/log/logstash用于DEB/RPM）中，默认的日志级别是INFO。Logstash的日志框架基于Log4j 2框架，其大部分功能都直接向用户公开。

过滤器是一种在线处理机制，它提供了根据需要对数据进行切片和切割的灵活性，让我们看一下活动中的一些过滤器，下面的配置文件设置了grok和date过滤器。

Kafka输出插件 插件版本：v7.1.3 发布于：2018-08-27 更新日志 其他版本，请参阅版本化的插件文档。 获取帮助 有关插件的问题，请在讨论论坛中打开一个主题，对于bug或特性请求，在Github中打开一个issue，关于Elastic支持的插件列表，请考虑Elastic支持矩阵。 描述 写入事件到Kafka主题。 这个插件使用Kafka客户端1.1.0...

Kafka输入插件 插件版本：v8.1.1 发布于：2018-06-01 更新日志 其他版本，请参阅版本化的插件文档。 获取帮助 有关插件的问题，请在讨论论坛中打开一个主题，对于bug或特性请求，在Github中打开一个issue，关于Elastic支持的插件列表，请考虑Elastic支持矩阵。 描述 这个输入将读取来自Kafka主题的事件。 这个插件使用Ka...

所有事件都有属性，例如，apache访问日志包含状态代码（200，404）、请求路径（“/”，“index.html”）、HTTP动作(GET，POST)、客户端IP地址等，Logstash将这些属性称为“字段”。

要配置Logstash，你需要创建一个配置文件，指定要使用的插件和每个插件的设置，你可以在配置中引用事件字段，并在事件满足某些条件时使用条件来处理它们，运行logstash时，使用-f指定配置文件。

监控Logstash 当你运行Logstash时，它会自动获取运行时指标，你可以使用这些指标来监控Logstash部署的健康状况和性能。 Logstash收集的指标包括： Logstash节点信息，比如管道设置、OS信息和JVM信息。 插件信息，包括已安装插件的列表。 节点统计信息，比如JVM统计信息、进程统计信息、事件相关统计信息和管道运行时统计...

在运行Logstash 5.2或更高版本时，你可以使用X-Pack中的监控功能来深入了解关于你的Logstash部署的指标，在overview仪表盘中，你可以看到Logstash接收和发送的所有事件，还有关于内存使用和正常运行时间的信息：

管道查看器UI 使用管道查看器来可视化和监控复杂的Logstash管道配置的行为，你可以看到一个说明了管道拓扑、数据流和分支逻辑的树视图并与之交互。 管道查看器在值异常的情况下突出显示CPU%和事件延迟，这些信息可以帮助你快速识别异常缓慢的处理过程。 前提条件 在使用管道查看器之前： 配置Logstash监控。 启动要监控...

如果需要在同一进程中运行多个管道，Logstash提供了一种通过名为pipelines.yml的配置文件完成此操作的方法，这个文件必须放在path.settings文件夹，并遵循此结构：

配置文件的结构 Logstash配置文件为要添加到事件处理管道的每种插件都有一个单独的部分，例如： {代码...} 每个部分都包含一个或多个插件的配置选项，如果指定多个过滤器，它们将按照配置文件中它们的出现顺序应用。 插件配置 插件的配置由插件名称和插件的设置块组成，例如，这个输入部分配置两个文件输入： {代码...} ...

像Debian Jessie、Ubuntu 15.10+和许多SUSE衍生发行版都使用systemd和systemctl命令来启动和停止服务，Logstash将系统单元文件放在/etc/systemd/system中，分别用于deb和rpm，在安装包之后，你可以启动Logstash：

这些镜像可以在弹性许可下自由使用，它们包含开源和免费的商业功能以及对付费商业功能的访问，开始一个30天的试用，以尝试所有付费的商业功能，有关Elastic许可级别的信息，请参阅订阅页面。

关闭Logstash 如果你将Logstash作为服务运行，请使用以下命令之一来停止它： systemd使用： {代码...} upstart使用： {代码...} sysv使用： {代码...} 如果你正在POSIX系统的控制台中直接运行Logstash，那么你可以通过向Logstash发送SIGTERM来停止它，例如： {代码...} 或者，在控制台中输入Ctrl-C。 在受控关闭期间会发...

Filebeat附带预构建的模块，这些模块包含收集、解析、充实和可视化各种日志文件格式数据所需的配置，每个Filebeat模块由一个或多个文件集组成，这些文件集包含摄取节点管道、Elasticsearch模板、Filebeat勘探者配置和Kibana仪表盘。

使用Filebeat Modules配置示例 本节中的示例展示了如何构建用于解析Filebeat模块收集的数据的Logstash管道： Apache 2日志 本例中的Logstash管道配置展示了如何运送和解析apache2 Filebeat模块收集的访问和错误日志。 {代码...} MySQL日志 本例中的Logstash管道配置展示了如何运送和解析mysql Filebeat模块收集的错误和...

你可以在Logstash设置文件logstash.yml中设置选项来控制Logstash执行，例如，你可以指定管道设置、配置文件的位置、日志记录选项和其他设置。当你运行Logstash时，logstash.yml文件中的大多数设置都可以作为命令行标志使用，在命令行中设置的任何标志都会覆盖logstash.yml文件中的相应设置。