Kubernetes集群安装kube-prometheus后无法执行kubectl top node

背景:

Kubernetes 1.20.5 安装Prometheus-Oprator嗯,我的集群是1.21.3了虽然是......
执行kubectl top nodes如下:
image.png

解决问题过程:

网上一堆各种说法的,但是没有一个是适用于我的。把monitoring下所有的pod的日志看了一个遍,然后在prometheus-adapter中发现日志如下:
fcf7a1291d2455a34d1eb367f091b14.png
嗯想起来了我的集群都不是默认的cluster.local!如果有跟我一样自定义命名集群的需要注意修改这个这个配置!
然后找一下配置文件中哪个文件有此项配置:
比较笨的方式:

grep -A2 -B2  cluster.local 

4c2ee3cf74d31cd4272131fd40a3490.png
4c2ee3cf74d31cd4272131fd40a3490.png一个一个前缀的排除。最后确认是prometheus-adapter-deployment.yaml配置文件,修改一下:
51b4332b5746f35763dda994a86f64b.png

kubectl apply -f prometheus-adapter-deployment.yaml
kubectl get pods -n monitoring

等待pod更新重新启动验证:

[root@k8s-master-01 manifests]# kubectl top nodes
W0731 11:24:57.758043 1760118 top_node.go:119] Using json format to get metrics. Next release will switch to protocol-buffers, switch early by passing --use-protocol-buffers flag
NAME            CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   
k8s-master-01   231m         5%     2497Mi          31%       
k8s-master-02   227m         5%     1989Mi          25%       
k8s-master-03   235m         5%     2071Mi          26%       
k8s-node-01     490m         3%     4023Mi          12%       
k8s-node-02     221m         1%     4854Mi          15%       
k8s-node-03     616m         3%     10671Mi         33%       
k8s-node-04     644m         4%     6238Mi          19%       
k8s-node-05     620m         3%     9058Mi          28%       
k8s-node-06     196m         4%     5436Mi          69

尽信书则不如无书。还是多看一下个人环境的日志。然后标注一下个人集群的修改地方。更快的定位问题,并解决问题!


19 声望
7 粉丝
0 条评论
推荐阅读
记录一下阿里云ACK的nodeport Local Cluster
很久很近以前(恩200多天前了),创建了一个服务应用,使用了nodeport的方式对外暴露服务,划重点--控制台创建的网络服务:过程就是这样的......一直相安无事。但是不明所以今天业务突然无法访问了(访问地址用了...

对你无可奈何阅读 282

张晋涛:我的 2022 总结
大家好,我是张晋涛。2022 年已经结束,我每年都会惯例的做个小回顾,今年因为阳了在恢复身体,一直拖到了今天才写。生活在 2022 年初做回顾的时候,觉得 2021 是魔幻的一年,但现在看来 2022 年其实更加魔幻。一...

张晋涛6阅读 638评论 2

封面图
为go应用添加prometheus监控指标
我们首先从一个最简单的 Go 应用程序开始,在端口 8080 的 /metrics 端点上暴露客户端库的默认注册表,暂时还没有跟踪任何其他自定义的监控指标。

一尾2阅读 4.3k

封面图
BI系统打包Docker镜像及部署的技术难度和实现
随着容器化技术盛行,Docker在前端领域也有着越来越广泛的应用;传统的前端部署方式需要我们将项目打包生成一系列的静态文件,然后上传到服务器,配置nginx文件;如果我们使用容器化部署,将部署操作都命令化,集...

葡萄城技术团队2阅读 8.3k

Kubernetes v1.26 新特性一览
我每期的 「k8s生态周报」都有一个叫上游进展的部分,所以很多值得关注的内容在之前的文章中已经发过了。这篇中我会再额外介绍一些之前未涵盖的,和之前介绍过的值得关注的内容。

张晋涛2阅读 579评论 1

封面图
深入剖析容器网络和 iptables
Docker 能为我们提供很强大和灵活的网络能力,很大程度上要归功于与 iptables 的结合。在使用时,你可能没有太关注到 iptables 的作用,这是因为 Docker 已经帮我们自动完成了相关的配置。

张晋涛3阅读 1.2k

封面图
openSSH升级公钥失效Permission denied (publickey)解决方案
背景centos系统升级openSSH后,服务器上无法再拉取代码,报错如下:原因服务器重新安装SSH后公钥改变,需要重新安装ssh-keygen -t rsa -C "邮箱地址"生成公钥,删除gitlab原有公钥,但是git pull依然报错如下:依...

兰俊秋雨1阅读 1.2k

19 声望
7 粉丝
宣传栏