背景

zabbix历史数据存储到es集群,正常工作中的时候,因网络变更导致zabbix server连接不上es,zabbix日志首先报400错误,之后一直404,es那边报查询相关的错误。

现象
  • 如下图:

zabbix登录失败次数(记一次因网络变更导致zabbix连接es报400和404)(1)

解决办法

结合多年在运维领域扯蛋的经验,再各种必应搜索,发现在es中可添加以下3个配置进行调优,于是死马当活马医,报着侥幸心理一试。

http.max_initial_line_length: 128k http.max_header_size: 64kb http.max_content_length: 500mb

还挺管用,完美解决!其实在这之前,听说重启能解决一切问题,于是es主节点、数据节点都重启过,zabbix也重启过,然并卵。

原因

初步判断:zabbix向es正常写入数据时,网络突然异常,待网络恢复后,积压的请求疯狂怼es,导致es顶不住。后续如有遇到网络变更的场景,可提前先关闭zabbix应用,待网络恢复后,再启动zabbix。

本文转载于:https://mp.weixin.qq.com/s/FkxHkyaQ4S6Xc9zoLSBHCQ

,