1 查看es状态信息的常用命令 {代码...} 减少数据节点上segment内存占用的方式 删除不用的索引 关闭索引（文件仍然存在于磁盘，只是释放掉内存），需要时可以打开。 定期对不再更新的索引force merge。 ES的heap是如何被瓜分掉的? segment memory filter cache field data cache bulk queue indexing buffer state buffer...

简言之：es的master处理不过来了，es的segment合并是一个非常耗时的操作。批量处理的超时时间默认设置为30s。可以通过以下命令查看pending的task：

在笔者最开始维护的日志服务中，日质量较小，没有接入kafka。随着业务规模扩增，日质量不断增长，接入到日志服务的产品线不断增多，遇到流量高峰，写入到es的性能就会降低，cpu打满，随时都有集群宕机的风险。因此，接入消息队列，进行削峰填谷就迫在眉睫。本文主要介绍在EFK的基础上如何接入kafka，并做到向前兼容。

主要是因为磁盘不够用了。Elasticsearch磁盘占用大于95%时将所有索引置为只读。如果你自己手动删除了数据，Elasticsearch不会给你自动切换回来，不过你可以手动去修改。就是用上面的命令就好了。

假设有一种场景，我们希望能够将业务数据加入到access日志中，方便统计每个接口在用户粒度的调用量。那么在分布式日志服务中，我们可以考虑在每行的access日志中，添加用户的id，方便直接解析到es中，在es中计算count即可。本文主要解决access日志中添加userId的问题。

在分布式日志服务架构中，我们只需要将logstash的output指向ES就可以了，但是，写入的数据是如何变成Elasticsearch里可以被检索和聚合的索引内容的呢？本文重点介绍数据在写入Elasticsearch索引流程中发生的具体操作。重点在于其中segment、buffer和translog三部分对实时性和性能方面的影响。

在《使用EFK快速搭建安全可靠的日志服务》一文中，我们已经大致介绍了分布式日志服务的各个组件。但是对于很多实现细节，并未涵盖到。本文主要介绍logstash用到的插件，以及对插件的离线打包，避免每次手动安装插件。本文主要分为4部分：

EFK是一套分布式日志服务解决方案，由各个组件构成。EFK分别是指：elasticsearch、filebeat、kibana。不过在真实的生产环境中，搭建日志服务可能还需要logstash来进行规制解析，使用kafka进行削峰填谷作为缓冲。在本文中，我主要介绍如何使用elasticsearch+filebeat+logstash+kibana来快速搭建一套分布式日志服务，来接...