Node项目的Gitlab自动部署实践（基于Docker）

准备工作

说明

公司最近准备了一台新的开发服务器，正好用以实践docker的基本应用。docker的好处不再赘述，详情可参考阮一峰的这篇入门。（关于Docker最好的中文介绍，没有之一）。

公司目前主要使用了EggJs + ReactJS的技术组合，并且是前后端分离的。在使用docker以后，大致的部署方式如下：
部署图

环境

主机：阿里云
系统：CentOS 7.5

工具

Gitlab-Runner
Docker
Nginx

操作

在新购买的阿里云主机上（域名要准备好，映射到主机的IP上），直接用root用户键入以下命令：

root# yum install gitlab-ci-multi-runner
root# yum install docker
root# yum install nginx

以上三个命令，即已安装好所需的软件环境。余下任务均可交由docker和gitlab-runner完成。

本文略过的内容

gitlab的使用，看这里

Nginx的配置

nginx在安装完成后，需要对配置文件进行修改，添加要代理的端口设置。配置文件一般放在/etc/nginx/conf.d目录下。

在/etc/nginx/nginx.conf中，有这么一段代码：

...

include /etc/nginx/conf.d/*.conf;
...

意思是，所有在/etc/nginx/conf.d目录下的配置文件都会被自动载入。因此在该目录下加入一个配置文件如：service.conf。内容如下：

server {
  listen       80;
  server_name  your.website.com;  // 这里写你配置好的域名

  // api访问路径（http://your.website.com/api/test)
  location /api/test {
    proxy_http_version 1.1;
    client_max_body_size    100m;
    client_body_buffer_size 128k;
    proxy_send_timeout   300;
    proxy_read_timeout   300;
    proxy_buffer_size    4k;
    proxy_buffers     16 32k;
    proxy_busy_buffers_size 64k;
    proxy_temp_file_write_size 64k;
    proxy_connect_timeout 30s;
    proxy_redirect off;
    proxy_pass http://127.0.0.1:18001/;  // api的docker转发的内部端口
    proxy_set_header   Host   $host;
    proxy_set_header   X-Real-IP  $remote_addr;
    proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
  }

  // web访问路径（http://your.website.com/web/test)
  location /web/test {
    alias /data/www/test; // web项目文件放在此目录下，可自行配置为你自己的目录
    index index.html;
  }

  // gitlab访问路径（http://your.website.com/gitlab)，
  location /gitlab {
    proxy_http_version 1.1;
    client_max_body_size    100m;
    client_body_buffer_size 128k;
    proxy_send_timeout   300;
    proxy_read_timeout   300;
    proxy_buffer_size    4k;
    proxy_buffers     16 32k;
    proxy_busy_buffers_size 64k;
    proxy_temp_file_write_size 64k;
    proxy_connect_timeout 30s;
    proxy_pass http://127.0.0.1:15080/;  // gitlab的docker转发的内部端口
    proxy_set_header   Host   $host;
    proxy_set_header   X-Real-IP  $remote_addr;
    proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
  }
}

conf配置完成后，重启nginx

root# service nginx restart

gitlab的安装和启动（使用Docker）

通过docker方式安装gitlab，比传统方式简单了不止100倍。只需简单两个命令即可开始使用：

安装

root# docker pull gitlab/gitlab-ce   // 这里安装的是ce版

这里没有指定版本，所以默认安装的是最新版。你可以在这里找到自己想要的版本并进行安装：

root# docker pull gitlab/gitlab-ce:11.3.3-ce.0

启动

使用简单一条命令，即可运行并使用gitlab。首先编辑启动脚本gitlab-start.sh，例如放在/srv/docker中：

#! /bin/bash

docker run --name gitlab \
  -d \
  --restart always \
  -p 15022:22 \  # 暴露给nginx的外部端口，
  -p 15080:80 \  # 暴露给nginx的外部端口（与上面的nginx配置要一致）
  -p 15433:433 \ # 暴露给nginx的外部端口，
  -v /srv/gitlab/config:/etc/gitlab \  # gitlab的配置文件
  -v /srv/gitlab/logs:/var/log/gitlab \ # gitlab的日志文件
  -v /srv/gitlab/data:/opt/lib/gitlab \ # gitlab的数据文件
  gitlab/gitlab-ce

使用bash执行该shell文件，gitlab即可启动

root# bash /srv/docker/gitlab-start.sh

现在访问your.website.com/gitlab，应该就可以正常访问gitlab服务了。就是这么简单！

使用Gitlab-Runner自动部署

api项目和web项目的运行方式有所区别，所以runner也有所区别。

api项目 跑在docker容器中，仅需将文件拷贝进docker即可，执行器是shell类型
web项目 打包的静态文件需要docker环境，执行器是docker类型

web项目的自动部署

添加runner

执行runner的注册命令，按照说明进行参数配置

root# gitlab-ci-multi-runner register
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/ci):
# http://your.website.com/gitlab
Please enter the gitlab-ci token for this runner:
# xxxxxxxx    
Please enter the gitlab-ci description for this runner:
# web-deploy-runner
Please enter the gitlab-ci tags for this runner (comma separated):
# node-web-deploy
Registering runner... succeeded                     runner=avuSXASJ
Please enter the executor: docker-ssh, parallels, shell, ssh, virtualbox, docker+machine, docker-ssh+machine, docker:
# docker
Please enter the default Docker image (e.g. ruby:2.1):
# node:10
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

说明

前2个分别是要求输入gitlab的url和对应的token，这两个信息在项目的Settings -> CI/CD -> Runners中有记录
第3个要求输入runner的名称
第4个是要求输入tags，runner通过项目gitlab-ci.yml中的tag标记来决定执行该CI过程。（见下一个步骤）
runner的executor指定是docker，所以最后一个要求输入docker的image，因为是node项目，指定该image为node:10(版本10的node，也可以指定其它版本)

添加完成后，runner就已经在服务中跑起来。只要gitlab的项目有提交，相关runner就根据tags来决定是否跑自动部署的命令。

添加.gitlab-ci.yml

在web项目的根目录下，添加.gitlab-ci.yml文件如下：

stages:
  - deploy

cache:
  key: ${CI_BUILD_REF_NAME}
  paths:
    - node_modules/

before_script:
  - export PATH=/usr/local/bin:$PATH
  - 'which ssh-agent || ( apt-get update -y && apt-get install openssh-client -y )'
  - eval $(ssh-agent -s)
  - ssh-add <(echo "$SSH_PRIVATE_KEY")
  - mkdir -p ~/.ssh
  - chmod 700 ~/.ssh
  - echo "$SSH_KNOWN_HOSTS" > ~/.ssh/known_hosts
  - chmod 644 ~/.ssh/known_hosts
  - '[[ -f /.dockerenv ]] && echo -e "Host *\\n\\tStrictHostKeyChecking no\\n\\n" > ~/.ssh/config'

# dev分支构建
dev-deploy:
  stage: build
  tags:
    - node-web-deploy   # 这个是runner的tags内容
  only:
    - dev               # 仅仅dev分支会被对应的runner执行
  script:
    - npm install
    - npm run build     # web项目的打包命令
    - scp -r dist/* root@your.website.com:/data/www/test-dev  # 将打包好的dist拷贝到部署目录


#uat分支构建
uat-deploy:
  stage: build
  tags:
    - node-web-deploy   # 这个是runner的tags内容
  only:
    - uat               # 仅仅uat分支会被对应的runner执行
  script:
    - npm install
    - npm run build     # web项目的打包命令
    - scp -r dist/* root@your.website.com:/data/www/test-uat  # 将打包好的dist拷贝到部署目录

说明

文件中申明了两个部署过程，分别针对dev和uat两个分支，打包好以后拷贝到对应的部署目录（nginx已经映射，看上面的配置文件）
before_script部分，是为scp命令做的准备。因为是在docker内部打包，无法直接拷贝到宿主目录下，所以需要scp命令拷贝。

ssh的设置

如上说明2，因为是在docker内部打包，只能通过scp来拷贝打包好的文件到宿主目录下。因此需要配置SSH。

参考官方例子即可完成此步骤：

1. 生成SSH密钥

官方文档推荐使用ed25519类型的SSH，我仍然用的RSA方式

root# ssh-keygen -o -t rsa -b 4096 -C "root@your.website.com"

按照提示，一路点击Enter即可完成配置。记得：不要添加passphrase。

2. 添加项目的Variables

在gitlab的项目设置(Settings -> CI/CD -> Variables)中，添加SSH_PRIVATE_KEY变量，变量的值为上一步生成的SSH密钥对的私钥。

root# vi ~/.ssh/id_rsa   // 这里保存的就是私钥，拷贝到SSH_PRIVATE_KEY的value字段中

完成后，继续添加SSH_KNOWN_HOSTS变量，变量的值为以下命令的输出：

root# ssh-keyscan your.website.com

3. SSH免密设置

上面两步骤设置完成后，Runner运行时仍然会报错，原因就在于SSH登录虽然设置完成，但没有设置登录免密。免密登录的要点就在于，要将SSH密钥对的公钥导入到~/.ssh/authorized_keys文件中。

对于本次实践，gitlab-runner和gitlab其实是在同一台服务器上完成的。所以，将PUBLC_KEY导入到本地的authorized_keys文件中即可

root# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

做好以上3部，WEB项目的自动部署就算已经完成了。访问http://your.website.com/web/test 试试看，网页应该已经出来了。

api项目的自动部署

添加runner

执行runner的注册命令，按照说明进行参数配置。（具体说明见：web项目的自动部署）

root# gitlab-ci-multi-runner register
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/ci):
# http://your.website.com/gitlab
Please enter the gitlab-ci token for this runner:
# xxxxxxxx    
Please enter the gitlab-ci description for this runner:
# api-deploy-runner
Please enter the gitlab-ci tags for this runner (comma separated):
# node-api-deploy
Registering runner... succeeded                     runner=avuSXASJ
Please enter the executor: docker-ssh, parallels, shell, ssh, virtualbox, docker+machine, docker-ssh+machine, docker:
# shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

添加.gitlab-ci.yml

在api项目的根目录下，添加.gitlab-ci.yml文件如下：

stages:
  - deploy

cache:
  key: ${CI_BUILD_REF_NAME}
  paths:
    - node_modules/

before_script:
  - export PATH=/usr/local/bin:$PATH
  - npm install

# ep-dev分支构建
deploy_dev:
  stage: deploy
  tags:
    - node-api-deploy
  only:
    - dev
  script:
    - sudo docker cp ./ api-test:/home/service
    - sudo docker restart api-test
    
# ep-release分支构建
deploy_uat:
  stage: deploy
  tags:
    - node-api-deploy
  only:
    - uat
  script:
    - sudo docker cp ./ api-test:/home/service
    - sudo docker restart api-test

说明

上面脚本使用了docker命令，将新文件拷贝到docker中并重启docker服务

添加docker服务

上面两部已经配置好了gitlab的CI/CD，CI/CD命令也提到要使用api项目对应的docker服务。这个docker服务需要我们提前打包一个image，docker里要跑的正是api服务所需要的环境。

1. 编辑Dockerfile

在api项目的根目录下，新增Dockerfile（没有后缀名）如下：

FROM node:10

RUN mkdir -p /home/service
WORKDIR /home/service

COPY . /home/service
RUN npm install

EXPOSE 8102

CMD ["npm", "start"]

说明

FROM 指使用的node环境对应的docker image
WORKDIR 指docker环境中的工作目录，执行的RUN命令都在此目录下执行
EXPOSE 指该api服务对外暴露的端口号，多个端口号可以写多个EXPOSE
CMD 则是docker在启动这个image时执行的命令，eggjs项目默认在工作目录下执行npm start

2. 打包docker

在根目录下，执行以下命令即可打包一个image

root# docker build -t lynx/test .

打包完成后，执行docker images即可看到打包完成的docker镜像。

3. 执行docker服务

与gitlab的使用方式类似，先编辑一个启动脚本/srv/docker/start-test.sh，内容如下：

#! /bin/bash

docker run -d --name nr-api-ep-dev \
  -p 18001:8102 \
  -v /data/api/test/logs:/home/service/logs \
  lynx/test

使用bash执行该shell文件，node服务即可启动

root# bash /srv/docker/start-test.sh

启动后，执行docker ps可以查看已启动的docker任务列表。

至此，web和api服务都已经自动部署完成。

连接其它docker服务

在api服务中，一定会用到sql或redis等第三方的服务。一种方式是将这个服务安装到宿主环境中，另外一种方式是启动redis的docker服务，将服务请求连接(link)过来，（docker-compose方式本文没有涉及）。

使用redis

本文使用docker方式安装redis，并启动这个服务

root# docker pull redis  // 安装redis
root# docker run -d --name=redis -p 6379:6379 -v /srv/redis/data:/var/lib/redis redis:latest redis-server --appendonly yes  // 启动redis

api(Docker)连接redis(Docker)

如果api服务需要使用到redis，那么将redis的地址定义为127.0.0.1是达不到目的的，因为两个服务目前都是在docker环境中运行。

如上面的api的docker执行命令，加入--link选项

#! /bin/bash

docker run -d --name nr-api-ep-dev \
  -p 18001:8102 \
  --link redis:redis \
  -v /data/api/test/logs:/home/service/logs \
  lynx/test

为了提供服务，docker运行中可以使用参数--link。注意，在link了以后api服务中如果要使用redis，服务的地址要改为redis，而不是127.0.0.1或者localhost

Node项目的Gitlab自动部署实践（基于Docker）

准备工作

说明

环境

工具

操作

本文略过的内容

Nginx的配置

gitlab的安装和启动（使用Docker）

安装

启动

使用Gitlab-Runner自动部署

web项目的自动部署

添加runner

添加.gitlab-ci.yml

ssh的设置

1. 生成SSH密钥

2. 添加项目的Variables

3. SSH免密设置

api项目的自动部署

添加runner

添加.gitlab-ci.yml

添加docker服务

1. 编辑Dockerfile

2. 打包docker

3. 执行docker服务

连接其它docker服务

使用redis

api(Docker)连接redis(Docker)

一光年

引用和评论

Spring笔记1——极简入门教程

小团队docker hub被墙的终极方案：基于docker打造本地docker仓库镜像

解决阿里云ECS服务器拉取不下docker镜像的问题

解决lodash由于依赖错误导致无法启动的问题

美国居民IP节点

docker 打包 opencv-python，libGL.so.1 报错解决方法

记录修复 cd 系统报错整个过程