记一次因网络变更导致zabbix连接es报400和404
背景
zabbix历史数据存储到es集群,正常工作中的时候,因网络变更导致zabbix server连接不上es,zabbix日志首先报400错误,之后一直404,es那边报查询相关的错误。
现象
- 如下图:
解决办法
结合多年在运维领域扯蛋的经验,再各种必应搜索,发现在es中可添加以下3个配置进行调优,于是死马当活马医,报着侥幸心理一试。
http.max_initial_line_length: 128k
http.max_header_size: 64kb
http.max_content_length: 500mb
还挺管用,完美解决!其实在这之前,听说重启能解决一切问题,于是es主节点、数据节点都重启过,zabbix也重启过,然并卵。
原因
初步判断:zabbix向es正常写入数据时,网络突然异常,待网络恢复后,积压的请求疯狂怼es,导致es顶不住。后续如有遇到网络变更的场景,可提前先关闭zabbix应用,待网络恢复后,再启动zabbix。
推荐阅读
《做一个不背锅运维:浅谈Python的元编程》
Python元编程是指在运行时对Python代码进行操作的技术,它可以动态地生成、修改和执行代码,从而实现一些高级的编程技巧。Python的元编程包括元类、装饰器、动态属性和动态导入等技术,这些技术都可以帮助我们更...
不背锅运维阅读 469
【WGCLOUD 了解、学习和使用】 主机分组功能
有时候我们主机比较多,不同的项目想对主机进行分组管理WGCLOUD监控平台是支持分组的,不过默认没有启用该功能,只要修改个配置项就可以使用主机分组了在server/config/application.yml修改配置项,找到如下配置...
一往情深阅读 145
快速掌握网站监控关键数据:仪表盘的创建与管理
在网站监控中,仪表盘是非常重要的工具,它能够对网站的关键数据进行可视化展示和监控。如果您希望在一个页面中直接看到自己最关心的数据,比如最新告警消息、网站监控问题数量统计、响应时间展示地图等,您可以...
云智慧技术社区阅读 104
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。