「K8S 生态周报」内容主要包含我所接触到的 K8S 生态相关的每周值得推荐的一些信息。欢迎订阅知乎专栏「k8s生态」。
Docker v20.10.6 发布
距离上个版本已经过去了一个多月,Docker 于近日发布了 v20.10.6 版本,还有 Docker Desktop 也发布了新版。这个版本中除了带来了 M1 的支持外,还带来了很多值得关注的内容,我们一起来看看吧!
CLI 和构建器
在 Docker v1.7 版本之前,Docker CLI 在执行完 docker login 后,会将相关信息存储到本地的 ~/.dockercfg
配置文件中。自从 v1.7 版本开始,Docker 引入了新的配置文件 ~/.docker/config.json
,为了保持兼容性,Docker 一直在同时支持这两种配置文件。
从当前版本开始,如果发现还在用 ~/.dockercfg
则会输出一行警告信息。提醒用户该配置文件将在后续版本中删除,请使用新的配置文件路径&格式。
此外,从这个版本开始,如果在使用旧版的 builder 并且在 Dockerfile 中有其不支持的命令或参数,则会打印相关报错,并提示使用 BuildKit 来完成构建。这也是 Docker 社区想要将 BuildKit 提升为默认构建器的进一步举措。
日志
#42174 · moby/moby修正了 Docker v20.10 版本中,当使用默认的 json-file 日志驱动时,偶发会遇到 io.UnexpectedEOF 的错误。
在实际测试中,在大量日志持续输出的情况下,比较容易复现此问题。
网络
此版本中修正了 v20.10 中,当容器停止后 iptables 规则无法自动清理的问题;同时也解决了 Docker 在有 IPv6 网络机器上,暴露端口时,虽然可以同时通过 IPv4 和 IPv6 的地址访问该端口,但是 docker inspect 的 API 中默认不返回 IPv6 地址信息的问题。
其他
在这个版本中,如果使用 Docker 官方源进行 Docker CE 安装的话,默认会建议安装 docker-scan-plugin 包,这是一个 docker CLI 的插件,可用于扫描镜像漏洞。
该插件我在之前的 K8S 生态周报中已经介绍过了,最初先引入到了 Docker Desktop 中,这个插件还是很方便的。
另外, 这个版本也解决了一个比较严重的问题 。 虽然此问题并非 Docker 自身导致的,但是在使用 Docker In Docker 模式时,会触发到,所以在此进行额外的说明。
当在 Kubernetes 中使用 Docker In Docker v20.10 版本时候,由于 Kubernetes 有 QoS 的机制,它确定了 Pod 的调度和驱逐优先级。实际上,Kubelet 是通过判断 Pod 的 oom_score_adj 来判定何时对它进行 OOM 。关于容器资源管理的部分,请参考我之前的文章《聊聊容器资源管理》
如果是 BestEffort QoS 的 Pod,则 Kubernetes 会将它的 oom_score_adj 设置为 1000 ,但是 containerd 为了能避免 shim 不至于在子进程之前推出,所以在 AdjustOOMScore
函数中,进行了对 oom_score_adj 加 1 的行为。会导致如下报错信息:
docker: Error response from daemon: io.containerd.runc.v2: failed to adjust OOM score for shim: set shim OOM score: write /proc/211/oom_score_adj: invalid argument
前面也已经说到了 Besteffort QoS 为它设置的是 1000, 这已经是该值的最大值啦,要 +1 自然也就报错了。
对应的修正方法如下:
diff --git a/sys/oom_unix.go b/sys/oom_unix.go
index d49d5bc8d..c381e1a7e 100644
--- a/sys/oom_unix.go
+++ b/sys/oom_unix.go
@@ -26,8 +26,12 @@ import (
"strings"
)
-// OOMScoreMaxKillable is the maximum score keeping the process killable by the oom killer
-const OOMScoreMaxKillable = -999
+const (
+ // OOMScoreMaxKillable is the maximum score keeping the process killable by the oom killer
+ OOMScoreMaxKillable = -999
+ // OOMScoreAdjMax is from OOM_SCORE_ADJ_MAX https://github.com/torvalds/linux/blob/master/include/uapi/linux/oom.h
+ OOMScoreAdjMax = 1000
+)
diff --git a/runtime/v2/shim/util_unix.go b/runtime/v2/shim/util_unix.go
index 2b0d0ada3..9fb7cc573 100644
--- a/runtime/v2/shim/util_unix.go
+++ b/runtime/v2/shim/util_unix.go
@@ -53,6 +53,7 @@ func SetScore(pid int) error {
// AdjustOOMScore sets the OOM score for the process to the parents OOM score +1
// to ensure that they parent has a lower* score than the shim
+// if not already at the maximum OOM Score
func AdjustOOMScore(pid int) error {
parent := os.Getppid()
score, err := sys.GetOOMScoreAdj(parent)
@@ -60,6 +61,9 @@ func AdjustOOMScore(pid int) error {
return errors.Wrap(err, "get parent OOM score")
}
shimScore := score + 1
+ if shimScore > sys.OOMScoreAdjMax {
+ shimScore = sys.OOMScoreAdjMax
+ }
if err := sys.SetOOMScore(pid, shimScore); err != nil {
return errors.Wrap(err, "set shim OOM score")
}
可以看到,就是在 AdjustOOMScore 中,如果发现发现调整后的 oom_score_adj 大于了系统默认的最大值,则将它设置为系统的最大值。
如果在生产环境中使用 containerd 及 Docker In Docker 的,建议升级到此版本进行解决。
好了,以上就是此版本中需要注意的内容,更多详细的变更,请查看其 ReleaseNote
kube-state-metrics v2.0 发布
做 Kubernetes 集群监控的小伙伴,大多对这个项目都不陌生。kube-state-metrics 可以根据 Kubernetes 的资源状态来生成 Prometheus 格式,极大的满足了我们对集群可观测性的需求。
这个版本主要是将一些 metrics 的名字做了替换,替换成了更加标准和统一的格式。
同时,将镜像的位置从 Quay.io 迁移到了 k8s.gcr.io/kube-state-metrics/kube-state-metrics 中。
更多关于此版本的变更,请查看其 ReleaseNote
上游进展
- #99839 · kubernetes/kubernetes 修正了 port-forward 的内存泄漏问题;
- #99963 · kubernetes/kubernetes 确保 job controller 可以在 Pod 完成后清理掉它;
- #100644 · kubernetes/kubernetes 将 KubeConfig 暴露在 scheduler framework 中,以便于树外插件使用。
欢迎订阅我的文章公众号【MoeLove】
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。