一个网站的微服务架构实战（2）k8s迁移

前言

我们一起回顾上一篇文章《Bees平台的微服务架构（1）docker和docker-compose》，一共通过Dockerfile构建了三个docker镜像：mysql数据库，部署angular前端页面的nginx，和springboot接口。然后使用docker-compose来做容器服务的编排，以保障不同容器之间可以互访。为了提高开发的效率，我们还写了一个自动部署的脚本，实际是只是通过docker-compose.yml启动和关闭容器，在本地镜像库中生成或删除镜像。

不可否认，docker-compose服务编排的小巧灵活性让人爱不释手，那我们今天为什么要迁移到k8s（kubernetes）上呢?因为k8s的编排能力更强，因为k8s可以做跨主机的分布式集群，因为k8s搭载rancher将更有利于微服务架构的统一管理，等等。

k8s准备

本文将不讲解k8s和rancher的安装和配置，相关的安装文档和配置文档网上有很多。最近阿里云产品春节大促销，我一时没忍住又买了一台服务器，打完折扣还是很贵。心疼归心疼，不过这样我就有两台服务器了，就顺便搭建了k8s的集群环境。

镜像仓库

分布式集群带来的复杂度就增加了。你没办法直接使用本地的镜像库地址了，我不想搭建镜像仓库，好在阿里的docker镜像仓库是免费的，就将最终版的docker镜像推送到阿里的容器仓库里面。当需要启动容器时，容器的地址就写阿里容器仓库里的地址，后文中会出现。

宿主机挂载卷

分布式的另一个问题就是宿主机的挂载卷，如果对上一篇文章印象深刻的话，应该记得mysql数据库的数据文件和nginx代理的图片文件等，都是挂载在宿主机上的。因为docker容器的特性，如果不使用挂载卷，在重启容器之后容器内的数据都会丢失。分布式环境中，不同主机之间是没办法互访目录的。我是通过在一台机器上搭建了nfs服务器，将单台机器上的目录开放为共享目录，具体内容下文有介绍。

服务互访

不同服务之间免不了要相互访问，例如：springboot要访问数据库和redis，angualr要调用springboot接口。而且考虑到k8s上经常要对某个服务做多节点的集群，所以要在注册中心开放给外界访问的地址应该是集群的地址。

我们在docker-compose上是怎么做的呢？在docker-compose.yml 上定义多个服务service，每个service对应于一个镜像。容器启动后，对应容器的服务名称即可以作为 hostname来使用。

k8s上也有类似的用法，它使用yaml文件，kind类型有很多，例如：Pod表示启动的服务是一个pod；ReplicationController则会根据Pod模板生成一批pod作为集群；Service则相当于服务的注册，可给与之对应的pod副本集群提供访问地址，等等还有很多。那这个问题Service就能解决，我们给不同的服务都创建一个Service，这样就也能同docker-compose一样通过服务的名称就能访问与之对应服务的pod副本集群。

其他

因为业务需要，在之前的三个镜像的基础上又加了一个redis镜像。那么分布式redis、分布式mysql环境搭建就太麻烦了，如果以后有机会再单独写文章来介绍，这次我干脆就只启动单节点的mysql和redis。

nfs共享目录

NFS是Network File System的简写，即网络文件系统，NFS是FreeBSD支持的文件系统中的一种。NFS基于RPC(Remote Procedure Call)远程过程调用实现，其允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序就可以像访问本地文件一样访问远端系统上的文件。NFS是一个非常稳定的，可移植的网络文件系统。

选用nfs的另一个原因是，nfs服务在k8s上可以直接作为存储卷使用，十分方便。

安装

nfs是基于rpc的，安装nfs就需要确保已安装rpcbind，不过一般CentOS都默认已安装了rpcbind

##查找是否已安装nfs 和 rpcbind
[mpaas@kerry1 k8s]$ rpm -qa | grep nfs
[mpaas@kerry1 k8s]$ rpm -qa | grep rpcbind
##如果没安装，则通过有yum安装
[mpaas@kerry1 k8s]$ yum -y install nfs-utils
[mpaas@kerry1 k8s]$ yum -y install rpcbind

安装完成后，必须要先启动rpcbind服务，再启动nfs服务

[mpaas@kerry1 k8s]$ systemctl start rpcbind
[mpaas@kerry1 k8s]$ systemctl start nfs-server

设置开机启动

[mpaas@kerry1 k8s]$ systemctl enable rpcbind
[mpaas@kerry1 k8s]$ systemctl enable nfs-server

配置

通过修改 /etc/exports 文件，设置nfs的共享目录

/home/nfs/bees/mysql/data *(rw,no_root_squash,no_all_squash,sync)

如上，将 /home/nfs/bees/mysql/data作为共享目录

星号* 代表可在任意服务器上访问该共享目录，也可以指定特点的ip和端口访问

括号内是参数设置，常见的参数则有：

rw　　ro    该目录分享的权限是可擦写 (read-write) 或只读 (read-only)，但最终能不能读写，还是与文件系统的 rwx 及身份有关。

sync　　async    sync 代表数据会同步写入到内存与硬盘中，async 则代表数据会先暂存于内存当中，而非直接写入硬盘！

no_root_squash　　root_squash    客户端使用 NFS 文件系统的账号若为 root 时，系统该如何判断这个账号的身份？预设的情况下，客户端 root 的身份会由 root_squash 的设定压缩成 nfsnobody， 如此对服务器的系统会较有保障。但如果你想要开放客户端使用 root 身份来操作服务器的文件系统，那么这里就得要开 no_root_squash 才行！

all_squash    不论登入 NFS 的使用者身份为何， 他的身份都会被压缩成为匿名用户，通常也就是 nobody(nfsnobody) 啦！

anonuid　　anongid    anon 意指 anonymous (匿名者) 前面关于 *_squash 提到的匿名用户的 UID 设定值，通常为 nobody(nfsnobody)，但是你可以自行设定这个 UID 的值！当然，这个 UID 必需要存在于你的 /etc/passwd 当中！ anonuid 指的是 UID 而 anongid 则是群组的 GID 啰。

编辑完 /etc/exports 文件后，执行下列命令生效

[mpaas@kerry1 k8s]$  exportfs -r

在服务器端，可执行下列命令查看目录是否共享成功

[mpaas@kerry1 k8s]$ showmount -e localhost
Export list for localhost:
/home/nfs/bees/mysql/data *

也可以在另外一台机器上安装nfs后执行上述命令，只需要将localhost换成目标服务器的ip地址即可。

nginx服务

先启动nginx来部署angualr，我们需要创建一个RC，根据模板创建pods，暂时只创建一个pod，后续如果需要扩展再在rancher上管理。

创建bees_angular_rc.yaml，开放pod的80端口

apiVersion: v1
kind: ReplicationController
metadata:
 name: bees-angular
spec:
 replicas: 1
 selector:
  app: bees-angular
 template:
  metadata:
   labels:
    app: bees-angular
  spec:
   containers:
   - name: bees-angular
     image: registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-nginx:v1.0
     ports:
     - containerPort: 80

创建bees_angualr_svc.yaml，设置nodePort，将pod的80端口映射给宿主机的30000端口

apiVersion: v1
kind: Service
metadata:
 name: bees-angular
spec:
 type: NodePort
 ports: 
  - port: 80
    nodePort: 30000
 selector:
  app: bees-angular

那么执行下列命令即可创建rc和service，与之对应的pod也会运行起来

##启动rc
[mpaas@kerry1 k8s]$ kubectl create -f bees-angular-rc.yaml 
##启动service
[mpaas@kerry1 k8s]$ kubectl create -f bees-angular-svc.yaml 
##查看pod是否启动成功
[mpaas@kerry1 k8s]$ kubectl get pods

mysql服务

创建bees_mysql_rc.yaml，开放pod的3306端口，并将nfs服务器上的共享目录 /home/nfs/bees/mysql/data 挂载到容器中

apiVersion: v1
kind: ReplicationController
metadata:
 name: bees-mysql
spec:
 replicas: 1
 selector:
  app: bees-mysql
 template:
  metadata:
   labels:
    app: bees-mysql
  spec:
   containers:
   - name: bees-mysql
     image: registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-mysql:v1.0
     ports:
     - containerPort: 3306
     env:
     - name: MYSQL_ROOT_PASSWORD
       value: 数据库密码
     volumeMounts:
     - name: mysql-data-persistent-storage
       mountPath: /var/lib/mysql
   volumes:
   - name: mysql-data-persistent-storage
     nfs:
      path: /home/nfs/bees/mysql/data
      server: nfs服务器的ip

创建bees_mysql_svc.yaml

apiVersion: v1
kind: Service
metadata:
 name: bees-mysql
spec:
 type: NodePort
 ports: 
  - port: 3306
    nodePort: 30003
 selector:
  app: bees-mysql

springboot服务

bees_springboot_rc.yaml

kind: ReplicationController
metadata:
 name: bees-springboot
spec:
 replicas: 1
 selector:
  app: bees-springboot
 template:
  metadata:
   labels:
    app: bees-springboot
  spec:
   containers:
   - name: bees-springboot
     image: registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-springboot:v1.0
     ports:
     - containerPort: 8010

bees_springboot_svc.yaml

apiVersion: v1
kind: Service
metadata:
 name: bees-springboot
spec:
 type: NodePort
 ports: 
  - port: 8010
    nodePort: 30004
 selector:
  app: bees-springboot

都是一些基础的代码使用，这里就不过多写了。

自动打包镜像推送仓库的脚本

#!/bin/bash

echo "nginx版本："$1
echo "springboot版本："$2

v_springboot_jar=`find /bees/devops/upload/ -name "*.jar"`
echo "找到jar:"$v_springboot_jar
v_angular_zip=`find /bees/devops/upload/ -name "dist.zip"`
echo "找到dist:"$v_angular_zip

docker rmi -f $(docker images|grep "paperbee-nginx" | awk '{print $3}')
docker rmi -f $(docker images|grep "paperbee-springboot" | awk '{print $3}')
echo "删除原镜像"

cd /bees/devops/dockerfiles/springboot-k8s/
rm -f *.jar
cp $v_springboot_jar ./bees-0.0.1-SNAPSHOT.jar
docker build -t paperbee-springboot .
echo "生成springboot镜像"

cd /bees/devops/dockerfiles/angular-k8s/
rm -rf dist/
cp $v_angular_zip ./dist.zip
unzip dist.zip
rm -f dist.zip
docker build -t paperbee-nginx .
echo "生成angular镜像"

docker login --username=账号 --password=密码 registry.cn-hangzhou.aliyuncs.com
echo "登录docker容器仓库"

v_nginx_image=$(docker images|grep "paperbee-nginx" | awk '{print $3}')
v_springboot_image=$(docker images|grep "paperbee-springboot" | awk '{print $3}')


docker tag $v_nginx_image registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-nginx:$1
docker push registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-nginx:$1
echo "推送 bees-nginx:"$1


docker tag $v_springboot_image registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-springboot:$2
docker push registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-springboot:$2
echo "推送 bees-springboot:"$2

备注

1、线上网站地址：纸蜂平台
2、 github地址，欢迎star