Shell脚本结合Git实现增量项目部署

头像
MarkerHub
    阅读 7 分钟
    1

    小Hub领读：

    脚本代码这么多，不是运维可能会真不会写哈哈。普通人用jenkins全量挺好的，但是代码过多时候就比较麻烦，而且jenkins一般也要配合脚本使用更加符合业务。

    作者：CatalpaFlat

    https://juejin.im/post/5cf0ed...

    应用部署是开发、测试、上线必须面对的一个过程，尤其是微服务架构的出现，运维部署从单体的部署逐渐脱离出，并且越显复杂。

    然而，抛开多语言，多环境，集群，分布式的部署之外。就单单讨论增量部署和全量部署

    1.增量和全量部署

    部署，除却项目初始化部署，最理想的情况即为：新版本更改哪些内容则更新哪些内容

    1.1 增量部署

    1.1.1 增量部署简介

    增量部署一般指在每次部署过程中首先提取当前版本和即将部署版本之间的增量（包括代码、可执行文件或者配置等），并在部署过程中仅更新增量部分。

    1.1.2 常见部署流程

    1. 利用代码管理工具（SVN、GIT 等）提取两个版本之间的增量，并结合其他方面的增量变化。
    2. 按照增量部分制定具体的部署方式，编写部署脚本，并准备增量部署包（包括混淆代码等）。
    3. 分发和部署增量部署包到已经运行上一版本的目标环境，完成系统的版本升级。

    1.1.3 增量部署优点

    1. 部署速度快。每次只对增量部分进行更新，缩短部署时间
    2. 减少变化量。减少对整个系统的变化幅度，有些配置内容是不需要每次都更新迭代的
    3. 提高安全性。由于每次支队增量进行更新，避免全部代码的泄露

    1.1.4 增量部署缺点

    1. 增量部署 若存在其他外在部署环境依赖，则降低部署效率

      增量部署不像

    2. 部署环境多的情况下，对可重复性要求高
    3. 增量部署对回滚操作变得不友好

    1.2 如何选择增量还是全量

    现有的自动化部署，大多数都 全量部署，但全量部署也有一些弊端。但可以通过一些策略进行筛选：

    • 提前准全量部署的所有配置和材料（部署包，外在配置文件等）在进行部署，可以提高效率和速度
    • 使用灰度发布或负载均衡等方法降低全量部署对应用可用性的影响

      对于现代系统中绝大部分状态无关的部署单元（应用、模块，微服务等），全量部署一般应是最优的选择。而状态相关的部署单元（数据库等）则依然适合增量部署逻辑。

    2.进入主题

    前面讲述了一些关于增量和全量部署的情况。接下来讲述如何通过 shell 脚本结合 Git Log 进行增量部署

    2.1 前提环境

    • Java 项目
    • Maven 进行管理
    • Git 作为代码仓库

    2.2 shell 脚本

    shell 新手，写得不够完美，轻喷。

    2.2.1 整个 shell 脚本的模块

    • Git 环境准备
    • Maven 对欲构建项目进行编译
    • 创建增量部署文件夹
    • 检索项目 target 目录
    • 通过 git diff 检索两次 commit 之间的差异，再通过检索将对应文件拷贝到 “增量文件夹” 中

    2.2.2 Git 环境准备

    # git环境

if [[ ! -d ".git" ]]; then
    ECHO error: please init  Git Repository
    exit 1;
fi

if [[ ! -z ${branch} ]]; then
    git checkout ${branch}
fi

# 获取默认commit-hash
if [[ -z "$begin_hash" ]] && [[ -z "$end_hash" ]] ; then
    for p in $(git log --pretty=oneline -2) ; do
        if [[ ${#p} -eq 40 ]]; then
            if [[ -z ${begin_hash} ]]; then
                begin_hash=${p}
            else
                end_hash=${p}
                break
            fi
        fi
    done
fi

is_begin_has=false

# 是否当前最新commit
if [[ $(git log --pretty=oneline -1) == *${begin_hash}* ]]; then
    is_begin_has=true
fi

# 非当前最新分支commit，回滚到原始版本，可能当时maven原始配置不支持compile或会出现构建失败（如：使用本地仓/私有仓库等）
if [[ ${is_begin_has} = false ]]; then
    project_path=$(pwd)
    project_name=${project_path##*/}
    cd ..
    build_project_name=${project_name}_build_temp_project
    if [[ ! -d ${build_project_name} ]]; then
        mkdir ${build_project_name}
    fi
    \cp -rf  ${project_name}/.  ${build_project_name}
    cd ${build_project_name}
    git reset --hard ${begin_hash}
fi
复制代码
    2.2.2.1 校验是否 git 仓库代码
    if [[ ! -d ".git" ]]; then
    ECHO error: please init  Git Repository
    exit 1;
fi
复制代码
    2.2.2.2 检查是否需要切换分支
    if [[ ! -z ${branch} ]]; then
    git checkout ${branch}
fi
    2.2.2.3 是否需要设置默认构建的 commit 值

    若执行构建时，没给添加 --begin_hash= 和 --end_hash= 进行赋值，则默认使用最新的两次 commit 来进行增量部署。

    通过 git log --pretty=oneline -2 获取最近两次 commit 的 hash

    # 获取默认commit-hash
if [[ -z "$begin_hash" ]] && [[ -z "$end_hash" ]] ; then
    for p in $(git log --pretty=oneline -2) ; do
        if [[ ${#p} -eq 40 ]]; then
            if [[ -z ${begin_hash} ]]; then
                begin_hash=${p}
            else
                end_hash=${p}
                break
            fi
        fi
    done
fi
复制代码
    2.2.2.4 校验传参的 begin_hash 值是否为当前分支最新 commit hash

    若非当前分支最新 commit hash，则需要回滚到对应 commit，进行项目构建编译

    if [[ $(git log --pretty=oneline -1) == *${begin_hash}* ]]; then
    is_begin_has=true
fi
复制代码
    2.2.2.5 若 begin_hash 非当前最新 commit hash

    若传参 begin_hash 的值非当前最新 commit hash。则需要回滚到对应 commit 进行构建编译。

    1. 将现有项目进行拷贝到新的目录环境
    2. 到新目录环境对项目进行 reset，用于构建项目
    if [[ ${is_begin_has} = false ]]; then
    project_path=$(pwd)
    project_name=${project_path##*/}
    cd ..
    build_project_name=${project_name}_build_temp_project
    if [[ ! -d ${build_project_name} ]]; then
        mkdir ${build_project_name}
    fi
    \cp -rf  ${project_name}/.  ${build_project_name}
    cd ${build_project_name}
    git reset --hard ${begin_hash}
fi
复制代码

    2.2.3 Maven 对欲构建项目进行编译

    对项目进行编译，生成对应 class 文件以及相关配置文件

    mvn clean compile -q -DskipTest
复制代码

    若历史版本中存在使用本地仓库，而 maven 中没有配置好的情况可以重新配置, 通过 scope 以及 systemPath 进行引入，如：

    <dependency>
    <groupId>cn.catalpaflat</groupId>
    <artifactId>core</artifactId>
    <version>1.0.0</version>
    <scope>system</scope>
    <systemPath>${project.basedir}/lib/core-1.0.jar</systemPath>
</dependency>
复制代码

    2.2.4 创建增量部署文件夹

    为了防止增量文件夹被删除或者被 commit 到 git 仓库，可以统一化到一个目录中，并通过 .gitignore 对其进行忽略。可以比对每次增量部署的差异

    build_path=build-path/
current_date=`date +%Y%m%d%H%m%s`

if [[ ! -d "$build_path$current_date" ]]; then
    mkdir -p ${build_path}${current_date}
else
    rm -rf ${build_path}${current_date}
    mkdir -p ${build_path}${current_date}
fi
复制代码

    2.2.5 检索项目 target 目录

    若项目为 Maven 项目，并且是 Java 项目，由于存在 Maven 多模块情况，需要检索每个模块下的编译后的代码路径，用于后续进行 class 等文件的拷贝。

    default_target_paths=()
default_java_file=java

module_index=0
# 检索当前项目是否maven多模块开发，递归检索，并设置其编译后的代码位置（暂只提供了java类型）
obtain_module(){
    for module in ` cat ./pom.xml | grep '<module>' | awk -F '>' '{print $2}' | awk -F '<' '{print $1}' `
    do
        cd ${module}

        if [[ ! -d "/pom.xml" ]]; then
           module_exist=`cat ./pom.xml | grep '<module>' | awk -F '>' '{print $2}' | awk -F '<' '{print $1}'`
           if [[ -z ${module_exist} ]]; then
                if [[ ! -d "/target" ]]; then
                    if [[ -z $1 ]]; then
                        default_target_paths[module_index]=${module}/target/classes
                    else
                        default_target_paths[module_index]=$1/${module}/target/classes
                    fi
                    ((module_index++))
                fi
           else
                 if [[ -z $1 ]]; then
                      obtain_module ${module}
                 else
                      obtain_module $1/${module}
                 fi
           fi
        fi
        cd ..
    done
}

obtain_module
复制代码

    2.2.6 检索并拷贝变更文件到增量文件夹

    1. git diff --name-only 排查两次 commit 之间文件差异
    2. 并将 begin_hash 的 commit 编译后的代码拷贝到增量文件夹中，以备后续打包进行部署
    # 通过git diff --name-only实现两次commit之间文件差异，并且将begin_hash的代码进行编译后，将差异的文件拷贝到“增量文件夹”中，以备后续进行增量部署

for file_path in $(git diff --name-only ${begin_hash} ${end_hash}) ; do
    package_path=${file_path%/*}
    file_name=${file_path##*/}
    file_type=${file_name##*.}
    # 文件所在校验文件夹是否创建
    if [[ ${package_path} != *.* ]]; then
          if [[ ! -d "./${build_path}${current_date}/$package_path" ]] ; then
                mkdir -p ./${build_path}${current_date}/${package_path}
           fi
    fi
    # 是否java
    if [[ ${file_type} = ${default_java_file} ]]; then
        module_path=${package_path##*java}
        file_class_name=${file_name%.*}
        module_type=${package_path%%/*}
        # 排查在哪个maven模块路径下
        for default_target_path in ${default_target_paths[@]}; do
            target_module_path=$(echo ${default_target_path} | awk -F '/target/' '{print $1}')
            file_target_module_path=$(echo ${package_path} | awk -F '/src/' '{print $1}')
            file_target_package_path=$(echo ${package_path} | awk -F '/src/main/java/' '{print $2}')
            default_module_type=${default_target_path%%/*}
            if [[ ${target_module_path} = ${file_target_module_path} ]]; then
                # 排查到对应maven模块的target目录，进行cp操作
                cp -afx ${default_target_path}/${file_target_package_path}/${file_class_name}* ./${build_path}${current_date}/${package_path}
            fi
        done

    else
    # 非java文件，直接拷贝文件到对应目录下
        if [[ ${package_path} != *.* ]]; then
            if [[ ! -d "./${build_path}${current_date}/$package_path" ]] ; then
                mkdir -p ./${build_path}${current_date}/${package_path}
            fi
        else
             package_path=${package_path%/*}
        fi

        cp -afx ${file_path} ./${build_path}${current_date}/${package_path}

    fi
done

    源码直通车！！！:https://github.com/CatalpaFla...

    到此为止，1.0 版本的简陋版本初步完成，目测可以使用，哈哈哈哈

    (完)

    推荐阅读：

    太赞了，SpringBoot+Vue前后端分离完整入门教程！

    分享一套SpringBoot开发博客系统源码，以及完整开发文档！速度保存！

    Github上最值得学习的100个Java开源项目，涵盖各种技术栈！

    2020年最新的常问企业面试题大全以及答案

    shelljava
    本文系转载，阅读原文
    https://juejin.im/post/5cf0ed996fb9a07eab68674f
    MarkerHub
    538 声望246 粉丝
    « 上一篇
    如何编写最佳的Dockerfile
    下一篇 »
    数据量很大，分页查询很慢，有什么优化方案？

    引用和评论

    推荐阅读
    头像
    带你从0搭建一个Springboot+elasticsearch+canal的完整项目 - dailyhub

    MarkerHub赞 1阅读 4.9k

    头像
    在Java程序中监听mysql的binlog

    huan1993赞 11阅读 2k

    头像
    Jerry和您聊聊Chrome开发者工具

    注销赞 9阅读 4.5k评论 3

    头像
    Bitmap 和 布隆过滤器傻傻分不清？你这不应该啊

    程序员小富赞 8阅读 1.7k评论 1

    头像
    Just for fun——迅速写完快速排序

    ufdf赞 3阅读 2.6k

    头像
    Spring 实现 3 种异步流式接口，干掉接口超时烦恼

    程序员小富赞 5阅读 1.7k

    头像
    💢线上高延迟请求排查

    crossoverJie赞 6阅读 928评论 5

    0 条评论
    得票最新