在 k8s 中安装 jenkins 并配置实现 CI/CD

头像
惜鸟
    阅读 11 分钟
    English
    5
    头图
    我们把世界看错，反说它欺骗了我们。—— 泰戈尔《飞鸟集》

    一. 概述

    在学习使用一个工具之前，我们需要知道怎么安装它。本文将自己学习的过程记录下来，一方面巩固学习的内容，另一方面希望对有同样需求的小伙伴提供一些帮助。

    开源工具描述官方文档官方安装文档docker 安装
    jenkinsdevops持续集成工具jenkins 官网jenkins 快速安装docker 安装

    上面表格列出了官方的安装地址，如果需要快速体验使用，建议直接使用 docker 安装，一行命令就可以启动应用：

    docker run -p 8080:8080 -p 50000:50000 jenkins/jenkins:lts-jdk11

    本文介绍在 k8s 中安装并使用 jenkins，主要通过两种方式安装实践：

    • 自己编写 yaml 文件安装
    • 使用 helm 安装

    安装环境

    这里使用 minikube 进行安装，在 k8s 集群中基本使用是一样的
    • minikube : v1.18.1
    • helm : v3.5.3

    二. 自定义 yaml 文件安装 jenkins

    由于 jenkins 需要持久化数据，所以我们需要创建 PVC ，建议使用 storageClass 动态创建 PVC，在 minikube 中有一个默认的 storageClass，名称是：standard，可以使用下面的命令查看：

    # kubectl get sc
NAME                 PROVISIONER                RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
standard (default)   k8s.io/minikube-hostpath   Delete          Immediate           false                  50m
    关于 storageClass 的使用可以查看官网：https://kubernetes.io/zh/docs...

    创建 jenkins-deploy.yaml 文件，文件内容如下：

    ###############使用 storageClass 创建 pvc ###################
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: jenkins-data-pvc
  namespace: default
spec:
  accessModes:
    - ReadWriteMany
  # 指定 storageClass 的名字，这里使用 minikube 默认的 standard
  storageClassName: "standard"
  resources:
    requests:
      storage: 10Gi

###############创建一个ServiceAccount 名称为：jenkins-admin###################
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: jenkins-admin
  namespace: default
  labels:
    name: jenkins

###############绑定账户jenkins-admin 为集群管理员角色，为了控制权限建议绑定自定义角色###################
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: jenkins-admin
  labels:
    name: jenkins
subjects:
  - kind: ServiceAccount
    name: jenkins-admin
    namespace: default
roleRef:
  kind: ClusterRole
  # cluster-admin 是 k8s 集群中默认的管理员角色
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io


############### 在 default 命名空间创建 deployment ###################
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: jenkins
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: jenkins
  template:
    metadata:
      labels:
        app: jenkins
    spec:
      terminationGracePeriodSeconds: 10
      # 注意：k8s 1.21.x 中 serviceAccount 改名为 serviceAccountName
      # 这里填写上面创建的 serviceAccount 的 name
      serviceAccount: jenkins-admin
      containers:
        - name: jenkins
          image: jenkins/jenkins:lts-jdk11
          imagePullPolicy: IfNotPresent
          env:
            - name: JAVA_OPTS
              value: -Duser.timezone=Asia/Shanghai
          ports:
            - containerPort: 8080
              name: web
              protocol: TCP
            - containerPort: 50000
              name: agent
              protocol: TCP
          resources:
            limits:
              cpu: 1000m
              memory: 1Gi
            requests:
              cpu: 500m
              memory: 512Mi
          livenessProbe:
            httpGet:
              path: /login
              port: 8080
            initialDelaySeconds: 60
            timeoutSeconds: 5
            failureThreshold: 12
          readinessProbe:
            httpGet:
              path: /login
              port: 8080
            initialDelaySeconds: 60
            timeoutSeconds: 5
            failureThreshold: 12
          volumeMounts:
            - name: jenkinshome
              mountPath: /var/jenkins_home
      volumes:
        - name: jenkinshome
          persistentVolumeClaim:
            claimName: jenkins-data-pvc

############### 在 default 命名空间创建 service ###################
---
apiVersion: v1
kind: Service
metadata:
  name: jenkins
  namespace: default
  labels:
    app: jenkins
spec:
  selector:
    app: jenkins
  type: ClusterIP
  ports:
    - name: web
      port: 8080
      targetPort: 8080


---
apiVersion: v1
kind: Service
metadata:
  name: jenkins-agent
  namespace: default
  labels:
    app: jenkins
spec:
  selector:
    app: jenkins
  type: ClusterIP
  ports:
    - name: agent
      port: 50000
      targetPort: 50000

    使用下面的命令部署 jenkins：

    # kubectl apply -f jenkins-deploy.yaml

persistentvolumeclaim/jenkins-data-pvc created
serviceaccount/jenkins-admin created
clusterrolebinding.rbac.authorization.k8s.io/jenkins-admin created
deployment.apps/jenkins created
service/jenkins created
service/jenkins-agent created

    使用下面的命令临时暴露服务端口：

    kubectl port-forward service/jenkins 8080:8080 -n default
    生产环境建议使用 ingress 通过域名暴露服务

    暴露服务端口后，可以访问：http://localhost:8080

    image-20210804113719169.png

    使用下面的命令查看管理员密码：

    # kubectl get pod -n default
NAME                       READY   STATUS    RESTARTS   AGE
jenkins-68666b56fc-p8fvd   1/1     Running   0          8m28s

# kubectl exec jenkins-68666b56fc-p8fvd -- cat /var/jenkins_home/secrets/initialAdminPassword
b06be4420bcd4a02ab4968ab02838986

    登录成功后，需要安装插件：

    image-20210804114339850.png

    image-20210804114650970.png

    这里不安装推荐的插件的原因是，很多插件我们是不需要的，还有就是默认下载插件会从国外下载，比较慢，后面会介绍配置国内下载地址。

    点击安装后，创建第一个管理员用户：

    image-20210804115005129.png

    根据实际情况配置，这里选择使用admin 账号继续。

    image-20210804115233111.png

    三. 使用 helm 安装 jenkins

    可以去到 helm 官方包管理仓库查找需要安装的应用。

    helm 包管理地址：https://artifacthub.io/

    在 Artifact hub 中搜索 jenkins，如下图所示：

    image-20210804141544184.png

    根据 jenkins 的说明进行安装，下面详细介绍一下安装步骤：

    使用下面的命令添加安装 jenkins 的仓库

    $  helm repo add jenkins https://charts.jenkins.io
"jenkins" has been added to your repositories

    使用下面的命令查看已经添加的helm仓库：

    $  helm repo list
NAME            URL
kong            https://charts.konghq.com
aliyun          https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
stable          https://charts.helm.sh/stable
kubeview        https://benc-uk.github.io/kubeview/charts
tscharts        https://technosophos.github.com/tscharts
bitnami         https://charts.bitnami.com/bitnami
apisix          https://charts.apiseven.com
jenkins         https://charts.jenkins.io

    使用下面的命令更新 helm 仓库：

    $  helm repo update

    使用下面的命令可以搜索仓库中的 jenkins：

    $  helm search repo jenkins

aliyun/jenkins  0.13.5          2.73            Open source continuous integration server. It s...
bitnami/jenkins 8.0.8           2.289.3         The leading open source automation server
jenkins/jenkins 3.5.9           2.289.3         Jenkins - Build great things at any scale! The ...
stable/jenkins  2.5.4           lts             DEPRECATED - Open source continuous integration...

    使用下面的命令查看可以配置的内容：

    $  helm show values jenkins/jenkins

    使用下面的命令下载 helm 的 chart 包到本地：

    $  helm pull jenkins/jenkins

    下载下来的是一个压缩包，可以通过 tar -zxvf 命令解压：

    $  tar -zxvf jenkins-3.5.9.tgz

-rw-r--r-- 1  1049089 45006 Jul 28 23:36 CHANGELOG.md
-rw-r--r-- 1  1049089  1287 Jul 28 23:36 Chart.yaml
-rw-r--r-- 1  1049089 30809 Jul 28 23:36 README.md
-rw-r--r-- 1  1049089 37647 Jul 28 23:36 VALUES_SUMMARY.md
drwxr-xr-x 1  1049089     0 Aug  5 17:59 templates
-rw-r--r-- 1  1049089 36203 Jul 28 23:36 values.yaml

    根据需要修改 values.yaml 文件进行自定义配置，这里为了快速体验，不做其他配置，直接使用下面的命令进行安装：

    $  helm install jenkins ./jenkins

    使用下面的命令查看登录的用户名和密码：

    # 查看登录的用户名
$  kubectl exec jenkins-0 -- cat /run/secrets/chart-admin-username
# 查看登录的密码
$  kubectl exec jenkins-0 -- cat /run/secrets/chart-admin-password

    使用下面的命令临时暴露服务：

    kubectl --namespace default port-forward svc/jenkins 8080:8080
    生产环境建议使用 ingress 通过域名暴露服务

    暴露服务端口后，可以访问：http://localhost:8080，如下图所示：

    image-20210805193558764.png

    四. 配置 jenkins 实现 devops

    根据前面的步骤已经安装好了 jenkins，接下来我将介绍如何配置 jenkins 实现 devops。

    1. 配置插件更新站点为国内源

    默认插件更新站点为： https://updates.jenkins.io/update-center.json

    修改插件更新站点为：https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json

    如下图所示：

    image-20210804143447318.png

    2. 下载常用插件

    下载常用插件如下图所示：

    image-20210804144427284.png

    3. 配置 kubernetes 集群

    点击 【系统管理】—> 【节点管理】—> 【Configure Clouds】

    image-20210804160525105.png

    image-20210804160807930.png

    这里不做任何配置，直接点击【连接测试】就可以发现连接 k8s 成功，如下图所示：

    image-20210804161226915.png
    配置 k8s 集群相关，如下图：

    image-20210804192743089.png

    配置 pod 模板，如下图：

    image-20210804165346794.png

    在 pod 模板中添加第一个容器：jenkins/inbound-agent，作为 jenkins 的 slave 节点，如下图所示：

    image-20210804194625102.png

    在 pod 模板中添加第二个容器：docker，用于构建以及推送镜像，如下图所示：

    image-20210804194659822.png

    在 pod 模板中添加第三个容器：maven:3.8.1-openjdk-11，如下图所示：

    image-20210804194813162.png

    根据需要添加更多容器，比如需要构建前端项目，可以添加一个 node:16.6.1-slim 容器，如下图所示：

    image-20210804195917454.png

    4. 为 maven 容器配置缓存和挂载 settings.xml

    若需要为Jenkins Slave Pod挂载自定义Settings文件，则可以先创建Config Map Volume，再配置到Pod Template上。

    执行以下命令创建自定义Settings文件：

    kubectl -n default create configmap maven-config --from-file=settings.xml

    在卷下单击添加卷，选择Config Map Volume类型卷，另一个是 maven 的配置，为了持久化依赖，提高构建速度，配置如下图所示：

    image-20210805153542451.png

    5. 使用 docker 构建和推送容器镜像

    使用docker推送镜像时，需要设置镜像仓库的访问权限，通过下面的方式设置：

    执行以下命令登录镜像仓库，登录镜像仓库的同时会生成 config.json文件：

    docker login -u <username> -p <password> registry.cn-hangzhou.aliyuncs.com

    在jenkins命名空间下使用生成的config.json文件创建名为 my-secret 的Secret：

    kubectl create secret generic jenkins-docker-cfg -n default --from-file=/root/.docker/config.json

    在Jenkins系统的Pod Template中配置挂载卷及环境变量：

    image-20210805153117834.png

    6. 配置访问k8s的kubeconfig

    配置访问k8s的kubeconfig，在pipeline中使用kubernetesDeploy的时候会使用到

    • [Manage Credentials] -> [jenkins] -> [全局凭据] -> [添加凭据]

    image-20210806175423918.png

    7. 设置拉取私有仓库镜像的用户名和密码

    • [Manage Credentials] -> [jenkins] -> [全局凭据] -> [添加凭据]

    image-20210806180358353.png

    8. 测试 devops 构建流程

    创建一个 pipeline 项目，如下图所示：

    image-20210804201525734.png

    在流水线脚本中输入如下内容：

    pipeline {
     // 定义本次构建使用哪个标签的构建环境
    agent{
        node{
          label 'slave-pipeline'
        }
      }

    stages {
        stage('Hello') {
            steps {
                echo 'Hello World'
            }
        }
        // 拉取代码
        stage('git clone') {
            steps {
                git branch: "master", credentialsId: "", url: "https://gitee.com/peterwd/devops-demo.git"
            }
        }
        //  运行源码打包命令
        stage('Package'){
          steps{
              container("maven") {
                  sh "mvn --version"
                  sh "mvn clean package -DskipTests"
              }
          }
        }

        // 运行容器镜像构建和推送命令
        stage('Image Build And Publish'){
          steps{
              container('docker') {
                   sh 'docker version'
              }
          }
        }
        
        //  运行 node 构建命令
        stage('node'){
          steps{
              container('node') {
                   sh 'npm version'
              }
          }
        }
    }
}

    如下图所示：

    image-20210804201855270.png
    点击保存，并构建，显示如下：

    image-20210805102208271.png

    项目管理kubernetesdevopsjenkinscicd
    惜鸟
    328 声望2.3k 粉丝
    « 上一篇
    在 k8s 中安装并使用 nexus
    下一篇 »
    python 正则表达式 re 模块总结

    引用和评论

    推荐阅读
    头像
    是什么让 Java 应用程序的 CPU 使用率飙升？

    惜鸟赞 6阅读 4.5k

    头像
    成功

    注销赞 1阅读 2.7k

    头像
    docker 使用--storage-opt参数约束容器文件系统大小

    李朝阳赞 2阅读 4.9k

    头像
    Kubenetes里pod和service绑定的实现方式

    注销阅读 4.1k

    头像
    通过一个实际例子理解Kubernetes里pod的自动scale - 水平自动伸缩

    注销阅读 3.7k

    头像
    记录下安装open-eBackup过程

    kexb赞 2阅读 249

    头像
    Kubernetes里的ConfigMap的用途

    注销阅读 2.3k

    0 条评论
    得票最新