阿里云k8s集群运维相关问题

前言

最近在使用阿里云k8s的时候发现好多问题，记录下来总结和分享。

问题

Pod The node had condition: [DiskPressure]

查看控制台，如下：

然后发现下列问题

status:
  message: 'Pod The node had condition: [DiskPressure]. '
  phase: Failed
  reason: Evicted
  startTime: "2020-12-01T19:24:45Z"

然后我们登录相应的节点服务器ECS，然后通过执行下面命令查看磁盘使用情况：

cd /
du -sh *

通过上面的命令发现var占有39G，然后进入该文件夹再次执行下面命令查看

cd /var
du -sh *

通过占比发现log文件夹占有35G，相同的我们再进入查看

cd log
du -sh *

问题找到了，我们发现messages相关日志文件占用空间非常大，解决办法也很简单，我们使用执行下面命令

echo "" > messages*

然后，我们再查看发现部署正常了，但是容器组还是不正常，这是因为evicted状态的pod不会被自动删除。需要手动删除。批量删除命令:

kubectl get pods -n <namespace> | grep -i evicted | awk '{if ($1!="NAME")print $1}'   | xargs  -n 1 kubectl delete pods -n <namespace> --force --grace-period=0

首先，我们先要找到对应namgspace下的Pods有哪些是evicted状态

kubectl get namespaces

kubectl -n arms-prom get pods | grep Evicted
kubectl -n default get pods | grep Evicted
kubectl -n kube-node-lease get pods | grep Evicted
kubectl -n kube-public get pods | grep Evicted
kubectl -n kube-system get pods | grep Evicted
kubectl -n kubeernetes-dashboard get pods | grep Evicted

执行完成之后发现哪些命名空间下存在pods为evicted状态的要删除，删除命令如下：

kubectl get pods -n arms-prom | grep -i evicted | awk '{if ($1!="NAME")print $1}'   | xargs  -n 1 kubectl delete pods -n arms-prom --force --grace-period=0

kubectl get pods -n default | grep -i evicted | awk '{if ($1!="NAME")print $1}'   | xargs  -n 1 kubectl delete pods -n default --force --grace-period=0

kubectl get pods -n kube-node-lease | grep -i evicted | awk '{if ($1!="NAME")print $1}'   | xargs  -n 1 kubectl delete pods -n kube-node-lease --force --grace-period=0

kubectl get pods -n kube-public | grep -i evicted | awk '{if ($1!="NAME")print $1}'   | xargs  -n 1 kubectl delete pods -n kube-public --force --grace-period=0

kubectl get pods -n kube-system | grep -i evicted | awk '{if ($1!="NAME")print $1}'   | xargs  -n 1 kubectl delete pods -n kube-system --force --grace-period=0

kubectl get pods -n kubeernetes-dashboard | grep -i evicted | awk '{if ($1!="NAME")print $1}'   | xargs  -n 1 kubectl delete pods -n kubeernetes-dashboard --force --grace-period=0

这样就解决了所有问题，如图所示 正常了

总结：

1、发现问题之后要分析问题，找到对应方法来解决
2、过程中对k8s不太熟悉有点忙乱，不过通过阿里云客服很轻松的解决了
3、学习使用k8s常用命令以及k8s相关概念
4、其它删除异常Pod命令

kubectl get pods -nNAMESPACE| grep Evicted | awk '{print $1}' | xargs kubectl delete pod  -nNAMESPACE

引用

k8s批量删除Evicted Pods
Kubectl基本操作命令
Mac系统占用空间大、空间不够、查看系统文件大小分布
kubernetes node DiskPressure 压力
master资源不足导致pods被驱逐-The node had condition: [DiskPressure