用 kubeadm 在 Debian 或 Ubuntu 中创建 k8s 集群

本文根据官方教程修改而来。

一、准备

要遵循本指南，你需要：

• 一个或多个 Debian 9 / Ubuntu 18.04 虚拟机，物理机当然更好
• 每台机器 2GB 以上的内存
• 用作控制平台节点的虚拟机至少有 2 个CPU
• 集群中所有计算机之间具有完全的网络连接

更改主节点 hostname 为 k8s-master，子节点根据数量修改 hostname 为 k8s-node-n，每个节点都要修改 hosts文件，添加所有节点的 ip 和 hostname 的映射关系，如：

# k8s cluster nodes start
192.168.31.221 k8s-master
192.168.31.222 k8s-node-1
192.168.31.231 k8s-node-2
# k8s cluster nodes end

关闭 swap

sudo swapoff -a

上面只是临时关闭，永久关闭还需删除/etc/fstab 中有关 swap 分区的项目。

sudo cp /etc/fstab /etc/fstab.bak
sudo sed -i "/^\/swap/d" /etc/fstab

修改完 fstab 文件后，重启主机。

二、教程开始

1 安装 kubeadm

1.1 允许 iptables 检查桥接流量

确保 br_netfilter 模块被加载。这一操作可以通过运行 lsmod | grep br_netfilter 来完成。若要显式加载该模块，可执行 sudo modprobe br_netfilter。

为了让你的 Linux 节点上的 iptables 能够正确地查看桥接流量，你需要确保在你的 sysctl 配置中将 net.bridge.bridge-nf-call-iptables 设置为 1。例如：

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sudo sysctl --system

1.2 安装 Docker

参考 docker-ce | 镜像站使用帮助 | 北京外国语大学开源软件镜像站 | BFSU Open Source Mirror。

不再细述。

1.3 安装 kubeadm、kubelet 和 kubectl

你需要在每台机器上安装下面的软件包：

• kubeadm：用来初始化集群的指令。
• kubelet：在集群中的每个节点上用来启动 Pod 和容器等。
• kubectl：用来与集群通信的命令行工具。

kubeadm 不能 帮你安装或者管理 kubelet 或 kubectl，所以你需要 确保它们与通过 kubeadm 安装的控制平面的版本相匹配。 如果不这样做，则存在发生版本偏差的风险，可能会导致一些预料之外的错误和问题。 然而，控制平面与 kubelet 间的相差一个次要版本不一致是支持的，但 kubelet 的版本不可以超过 API 服务器的版本。 例如，1.7.0 版本的 kubelet 可以完全兼容 1.8.0 版本的 API 服务器，反之则不可以。

安装过程

1. 更新 apt 包索引并安装使用 Kubernetes apt 仓库所需要的包：

   sudo apt-get update
   sudo apt-get install -y apt-transport-https ca-certificates curl

2. 下载并添加签名密钥，我将谷歌 key 上传到了 gitee，方便国内使用：

   curl -s https://gitee.com/thepoy/k8s/raw/master/apt-key.gpg | sudo apt-key add -

3. 添加 Kubernetes apt 仓库，这里使用清华镜像，但清华镜像不稳定，有时会没有网速：

   cat <<EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list 
   deb https://mirrors.tuna.tsinghua.edu.cn/kubernetes/apt kubernetes-xenial main
   EOF

这里需要注意，kubernetes-xenial不改变，版本代码一改变，将无法在 apt 仓库中找到 kubeadm 和kubelet。而 apt 仓库中保存的是通用 DEB 包， Debian 和 Ubuntu 不区分版本都可以用，所以不要改动此处。我用的是 Debian 9，将其改为kubernetes-stretch后就遇到了此问题，改为kubernetes-xenial才顺利安装。

4. 更新 apt 包索引，安装 kubelet、kubeadm 和 kubectl，并锁定其版本：

   sudo apt-get update
   sudo apt-get install -y kubelet kubeadm kubectl
   sudo apt-mark hold kubelet kubeadm kubectl

第一小节内容所有虚拟机上都要操作一次。

2 创建集群

2.1 查看 kubeadm 初始化所需镜像

kubeadm 初始化时会拉取一些 docker 镜像，查看fmd要的镜像列表：

➜  ~ kubeadm config images list
k8s.gcr.io/kube-apiserver:v1.21.1
k8s.gcr.io/kube-controller-manager:v1.21.1
k8s.gcr.io/kube-scheduler:v1.21.1
k8s.gcr.io/kube-proxy:v1.21.1
k8s.gcr.io/pause:3.4.1
k8s.gcr.io/etcd:3.4.13-0
k8s.gcr.io/coredns/coredns:v1.8.0

可以看到，使用的镜像仓库是国内无法正常访问的k8s.gcr.io，所以需要另想办法完成镜像拉取。

主节点需要拉取所有镜像，子节点只需要pause和kube-proxy两个镜像就能正常工作。

2.2 拉取镜像

配置好 docker 镜像仓库，通常都使用阿里云加速。

在 docker hub 中逐一搜索对应的镜像，并将所需标签的镜像 pull 到本地。

以kube-apiserver为例，pull 到本地后，修改其本地标签：

docker tag 8522d622299c k8s.gcr.io/kube-apiserver:v1.21.1

2.3 kubeadm 初始化

kubeadm需要使用 root 账户或 root 权限运行。

kubeadm 需要使用 systemd 来管理容器的 cgroup。

初始化前修改 docker 的 daemon.json，添加一行"exec-opts": ["native.cgroupdriver=systemd"]，最终类似于：

{
    "exec-opts": ["native.cgroupdriver=systemd"],
    "registry-mirrors": [
              "xxxxx.mirror.aliyuncs.com"  // 这里的镜像仓库需要改成自己的
    ]
}

sudo systemctl daemon-reload
sudo systemctl restart docker

初始化命令：

sudo kubeadm init \
  --apiserver-advertise-address=192.168.31.221 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16

• 第一个参数是主节点的 ip 地址
• 第二个参数是为 service 另指定一个 ip 地址段
• 第三个参数是为 pod 网络指定的 ip 地址段

初始化成功后，最后会输出类似下面的结果：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.31.221:6443 --token jc2ohi.sot5cfuqtvyx4bsk \
    --discovery-token-ca-cert-hash sha256:584a842a831fe3226341ce0f5812a94eb6042188e070e4946af7127c689cb13b

最后的命令就是子节点加入集群的命令，在子节点中以 root 权限运行即可：

sudo kubeadm join 192.168.31.221:6443 --token jc2ohi.sot5cfuqtvyx4bsk \
    --discovery-token-ca-cert-hash sha256:584a842a831fe3226341ce0f5812a94eb6042188e070e4946af7127c689cb13b

然后在主节点中用普通用户运行下面的命令：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

最后在主节点中查看全部节点：

➜  ~ kubectl get nodes
NAME         STATUS   ROLES                  AGE     VERSION
k8s-master   Ready    control-plane,master   10m     v1.21.1
k8s-node-1   Ready    <none>                 9m26s   v1.21.1
k8s-node-2   Ready    <none>                 9m2s    v1.21.1

集群中所有节点都已准备好了。

可选：

kubectl get cs已被弃用。

可以检查一下集群是否正常：

kubectl get cs

可能你会得到下面的响应：

NAME                 STATUS      MESSAGE                                                                                       ERROR
scheduler            Unhealthy   Get "http://127.0.0.1:10251/healthz": dial tcp 127.0.0.1:10251: connect: connection refused
controller-manager   Unhealthy   Get "http://127.0.0.1:10252/healthz": dial tcp 127.0.0.1:10252: connect: connection refused
etcd-0               Healthy     {"health":"true"}

出现这种情况，是/etc/kubernetes/manifests下的kube-controller-manager.yaml和kube-scheduler.yaml设置的默认端口是 0，在文件中注释掉或删除掉相关参数就可以了。

3 安装 Pod 网络附加组件

你必须部署一个基于 Pod 网络插件的 容器网络接口 (CNI)，以便你的 Pod 可以相互通信。 在安装网络之前，集群 DNS (CoreDNS) 将不会启动。

可用的第三方 CNI 列表见 CNI | Kubernetes。

本文使用Flannel：

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

安装过程很快，完成后即可查看 coredns 状态：

kubectl get pods -n kube-system

结果：

NAME                                 READY   STATUS    RESTARTS   AGE
coredns-54695bfdf-24whr              1/1     Running   0          29m
coredns-54695bfdf-p8knz              1/1     Running   0          29m
etcd-k8s-master                      1/1     Running   0          29m
kube-apiserver-k8s-master            1/1     Running   0          29m
kube-controller-manager-k8s-master   1/1     Running   0          29m
kube-flannel-ds-4w2lt                1/1     Running   0          16s
kube-flannel-ds-7x9w7                1/1     Running   0          16s
kube-flannel-ds-rgcxl                1/1     Running   0          16s
kube-proxy-gtf4d                     1/1     Running   0          29m
kube-proxy-pvhbp                     1/1     Running   0          28m
kube-proxy-s6xj9                     1/1     Running   0          28m
kube-scheduler-k8s-master            1/1     Running   0          29m

使用 API 检查集群健康状态：

curl -k https://localhost:6443/livez\?verbose
curl -k https://localhost:6443/readyz\?verbose

[+]ping ok
[+]log ok
[+]etcd ok
[+]poststarthook/start-kube-apiserver-admission-initializer ok
[+]poststarthook/generic-apiserver-start-informers ok
[+]poststarthook/priority-and-fairness-config-consumer ok
[+]poststarthook/priority-and-fairness-filter ok
[+]poststarthook/start-apiextensions-informers ok
[+]poststarthook/start-apiextensions-controllers ok
[+]poststarthook/crd-informer-synced ok
[+]poststarthook/bootstrap-controller ok
[+]poststarthook/rbac/bootstrap-roles ok
[+]poststarthook/scheduling/bootstrap-system-priority-classes ok
[+]poststarthook/priority-and-fairness-config-producer ok
[+]poststarthook/start-cluster-authentication-info-controller ok
[+]poststarthook/aggregator-reload-proxy-client-cert ok
[+]poststarthook/start-kube-aggregator-informers ok
[+]poststarthook/apiservice-registration-controller ok
[+]poststarthook/apiservice-status-available-controller ok
[+]poststarthook/kube-apiserver-autoregistration ok
[+]autoregister-completion ok
[+]poststarthook/apiservice-openapi-controller ok
livez check passed

[+]ping ok
[+]log ok
[+]etcd ok
[+]informer-sync ok
[+]poststarthook/start-kube-apiserver-admission-initializer ok
[+]poststarthook/generic-apiserver-start-informers ok
[+]poststarthook/priority-and-fairness-config-consumer ok
[+]poststarthook/priority-and-fairness-filter ok
[+]poststarthook/start-apiextensions-informers ok
[+]poststarthook/start-apiextensions-controllers ok
[+]poststarthook/crd-informer-synced ok
[+]poststarthook/bootstrap-controller ok
[+]poststarthook/rbac/bootstrap-roles ok
[+]poststarthook/scheduling/bootstrap-system-priority-classes ok
[+]poststarthook/priority-and-fairness-config-producer ok
[+]poststarthook/start-cluster-authentication-info-controller ok
[+]poststarthook/aggregator-reload-proxy-client-cert ok
[+]poststarthook/start-kube-aggregator-informers ok
[+]poststarthook/apiservice-registration-controller ok
[+]poststarthook/apiservice-status-available-controller ok
[+]poststarthook/kube-apiserver-autoregistration ok
[+]autoregister-completion ok
[+]poststarthook/apiservice-openapi-controller ok
[+]shutdown ok
readyz check passed

查看集群信息：

kubectl cluster-info

Kubernetes control plane is running at https://192.168.31.221:6443
CoreDNS is running at https://192.168.31.221:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.