在2017/7某一天,把测试用的centos6(运行着cloudstack若干agent)给yum update了下(至CentOS6.9)。
当时没有重启, 可能有些程序没有影响到。

上周末,大厦停电,服务器都给关了,然后在第二天来电后,所有cloudstack-agent全部离线,无法正常服务。

远程进去一看,简直疯掉:

  1. 硬盘占有用100%,因agent仅为IAAS服务提供CPU和内存资源,硬盘都是比较小的。查看发现/var/log/cloudstack/agent下的agent日志和/tmp下的hs_err_pid等一直疯涨。大概是这么个意思A fatal error has been detected by the Java Runtime Environment:

  2. 查看JVM相关的进程,发现cloudstack-agent服务一直无法正常启动,但却在不停的创建新的进程。

只好手动结束了JVM进程,然后重启cloudstack-agent服务和系统,皆无法让服务正常运行。
后来执行了"yum update",发现kernel有几处升级,然后reboot,一切又回归正常。

所以,没事不要随便搞全局的升级,还好不是生产环境且CentOS发布了新的补丁,要不都没地方哭。


ccfish
1.2k 声望56 粉丝

专业救火员 专治各种不服。