来自天国的 kubernetes

为什么叫来自天国的 kubernetes 呢，这就得吐槽一下 GFW 了。kubernetes 1.4 版本新推出的 kubeadm 命令没有随二进制包释放，必须自己到 master 分支编译，或者使用 Google Cloud 提供的 yum 源安装。But...，GFW 墙了 Google Cloud，导致服务器根本没法连上。当然，最后还是解决了.

kubernetes

What's is kubernetes

Kubernetes is an open-source platform for automating deployment, scaling, and operations of application containers across clusters of hosts, providing container-centric infrastructure.

简而言之，目前最好用的开源容器平台就是 kubernetes 了（mesos 党别打我）。

概念

概念之类就不讲了，具体可以参考笔者这篇文章 Kubernetes 尝鲜，里面讲述了 kubernetes 的几大组件，而本文就是围绕这几大组件展开部署的。在 1.4 版本之前，kubernetes 部署一般都是使用 kube-up.sh 脚本，但是它有很多问题，并且还无法解决 tls 安全传输的问题，因此，kubernetes 官方团队听取了一些意见，开发了 kubeadm 这个新的部署工具，号称简单到两句命令就能部署成功。

> kubeadm init
> kubeadm join --token <token> <master-ip>

不过如果真以为这么简单就 too young 了。下面就是国内服务器部署的具体步骤

部署

master 节点

注：本文都使用 CentOS7 作为部署平台，Ubuntu 等 Debian 系请自行尝试。
首先需要安装 Docker，可以使用 CentOS 官方提供的 docker 1.10，也可以使用 Docker 官方的 yum 源安装 Docker 1.12 版本，这里笔者选择了后者（其实最大的原因是阿里云有镜像站）。

> sudo tee /etc/yum.repos.d/docker.repo <<-'EOF'
[docker]
name=Docker Repository
baseurl=http://mirrors.aliyun.com/docker-engine/yum/repo/main/centos/7/
enabled=1
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/docker-engine/yum/gpg
EOF
> yum install docker-engine

为了保证不出错，请关闭 selinux。

> setenforce 0

当然，在未来 release 版本 kubeadm 就不需要关闭 selinux 了，因为已经在 #33555 修复这个问题了。
然后就是安装 kubeadm、kubelet、kubectl、kubernetes-cni 组件了，但是 GFW 阻拦了我们的去路，所以只能自己下载 rpm 包，然后使用 rpm -ivh 命令安装了，记得在安装之前安装 socat 依赖。至于下载地址，请到 primary.xml 文件自行搜索 location 标签。
安装完毕，键入以下命令启用 docker 和 kubelet

> systemctl enable docker && systemctl start docker
> systemctl enable kubelet && systemctl start kubelet

当开启 kubelet 后，你会发现 kubelet 实际上启动失败了，那是因为它需要 kubeadm 生成配置文件，所以不需要担心，只要运行 kubeadm 后它自己就能启动了。
这套部署方案实际上是将 kube-apiserver、kube-controller-manager、kube-scheduler 等组件放在 kubernetes 环境运行，真正运行的组件只有一个就是 kubelet。
在运行 kubeadm init 之前，需要先下载一些 docker 镜像，因为 kubeadm 会从 gcr.io 网站下载镜像，但是国内是无法访问 gcr.io 的，所以需要预先下载好，笔者已经在 dockerhub 上做好了镜像，当然也可以使用自己的 dockerhub 制作镜像。

gcr.io/google_containers/kube-proxy-amd64                v1.4.0
gcr.io/google_containers/kube-discovery-amd64            1.0
gcr.io/google_containers/kubedns-amd64                   1.7
gcr.io/google_containers/kube-scheduler-amd64            v1.4.0
gcr.io/google_containers/kube-controller-manager-amd64   v1.4.0
gcr.io/google_containers/kube-apiserver-amd64            v1.4.0
gcr.io/google_containers/etcd-amd64                      2.2.5
gcr.io/google_containers/kube-dnsmasq-amd64              1.3
gcr.io/google_containers/exechealthz-amd64               1.1
gcr.io/google_containers/pause-amd64                     3.0

只要将 gcr.io/google_containers 换成 chasontang/ 就可以了，然后在使用 docker tag 命令将其做别名改为 gcr.io/google_containers 就行了。

> kubeadm init

<master/tokens> generated token: "f0c861.753c505740ecde4c"
<master/pki> created keys and certificates in "/etc/kubernetes/pki"
<util/kubeconfig> created "/etc/kubernetes/kubelet.conf"
<util/kubeconfig> created "/etc/kubernetes/admin.conf"
<master/apiclient> created API client configuration
<master/apiclient> created API client, waiting for the control plane to become ready
<master/apiclient> all control plane components are healthy after 61.346626 seconds
<master/apiclient> waiting for at least one node to register and become ready
<master/apiclient> first node is ready after 4.506807 seconds
<master/discovery> created essential addon: kube-discovery
<master/addons> created essential addon: kube-proxy
<master/addons> created essential addon: kube-dns

Kubernetes master initialised successfully!

You can connect any number of nodes by running:

kubeadm join --token <token> <master-ip>

如果需要让 master 节点也能负载运行 pod，只需要键入一下命令

> kubectl taint nodes --all dedicated-

node 节点

部署 node 节点很简单，键入以下命令

# kubeadm join --token <token> <master-ip>
<util/tokens> validating provided token
<node/discovery> created cluster info discovery client, requesting info from "http://138.68.156.129:9898/cluster-info/v1/?token-id=0f8588"
<node/discovery> cluster info object received, verifying signature using given token
<node/discovery> cluster info signature and contents are valid, will use API endpoints [https://138.68.156.129:443]
<node/csr> created API client to obtain unique certificate for this node, generating keys and certificate signing request
<node/csr> received signed certificate from the API server, generating kubelet configuration
<util/kubeconfig> created "/etc/kubernetes/kubelet.conf"

Node join complete:
* Certificate signing request sent to master and response
  received.
* Kubelet informed of new secure connection details.

Run 'kubectl get nodes' on the master to see this machine join.

部署 pod 网络

由于 pod 可能运行在不同的机器上，所以为了能让 pod 互相通信，就需要安装 pod 网络。这里使用的方案就是 weave net

> kubectl apply -f https://git.io/weave-kube

因为之前的 kube-dns addon 是依赖 pod 网络的，所以在没有部署 pod 网络之前，kube-dns 都会报错，因此只需要检查 kube-dns 是否成功就知道 pod 网络有没有成功了。

kubectl get pods --all-namespaces