filebeat结合logstash推送到不同的源存在过滤问题

user_Kif1CxQE
  • 1
新手上路,请多包涵

版本

logstash-7.6.2-1.noarch
filebeat-7.6.2-1.x86_64

问题描述

基于output的if判断过滤失败,passageway值为default时数据也会随机推送到kafka和ES对应的数据源中

经过测试 当数据量较大且多个filebeat同时推送会出现该情况,logstash是否存在批量处理过滤的异常?

logstash代码如下:

input {
    beats {
        host => ""
        port => 5044
    }
}
output {
    if [fields][passageway] == "kafka" {
        kafka {
            bootstrap_servers => ""
            codec => plain {
                format => "%{[messageData]}"
            }
            topic_id => "%{[fields][kafka_topic]}"
        }
    } else if [fields][passageway] == "es" {
        elasticsearch {
            hosts => ""
            action => "index"
            index => "%{[fields][type]}"
        }
    }
}
回复
阅读 127
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
你知道吗?

宣传栏