1

背景

近日的工作涉及到数据库的集群部署,为了熟悉过程,参考VastgbaseG100官方文档进行部署。

参考文档

https://docs.vastdata.com.cn/zh/docs/VastbaseG100Ver2.2.15/do...

实操

这里采用HAS+DCS+Vastbase的解决方案,详情可参考
海量智库第8期|Vastbase G100核心技术介绍之高可用软件实现原理

概述

总体包含dcs、vastbase、has的部署,并按照顺序依次部署。细节性的东西参考文档就行,不会描述,更多的是展示部署过程个各个步骤的截图

信息

IP信息
172.16.19.151~153
172.16.19.154 作为VIP
平台信息
系统:中科方德4.0
处理器:Intel x86

dcs

dcs节点

节点ip默认端口hostname
dcs节点1172.16.19.1512379、2380vb1
dcs节点2172.16.19.1522379、2380vb2
dcs节点2172.16.19.1532379、2380dcs

配置

/etc/hosts

image.png

防火墙

直接关闭
image.png

安装

为了易于后续删除,二进制文件放在一个单独创建的目录。这里用/opt/vastdata/dcs存放相关文件

mkdir -p /opt/vastdata/dcs
获取安装程序

解压后将二进制文件放到/opt/vastdata/dcs/bin目录,并赋予执行权限
image.png

tree -L 2 .

image.png

添加配置文件

添加目录/opt/vastdata/dcs/etc存放配置文件,创建配置文件dcs.conf;添加目录data用于存放dcs的数据。
image.png
配置文件

  • 172.16.19.151
    image.png
  • 172.16.19.152
  • 172.16.19.153

其他节点修改ip和节点序号即可。

配置DCS服务

作为系统服务
在dcs目录创建dcs.service,并建立从系统目录到这里的软链接
image.png

创建软链接

ln -sf /opt/vastdata/dcs/dcs.service /usr/lib/systemd/system/dcs.service
配置其他节点

将本机上的配置文件复制到另外两台机器,并简单修改。

  • 要改ip和节点编号
  • 软链接别忘了创建
启动服务
systemctl daemon-reload
systemctl start dcs

# 查看状态
systemctl status dcs

image.png

image.png

vastbase

第二步部署数据库(一主一备)172.16.19.151部署主库,172.16.19.152部署备库
数据库版本采用2.2.15

数据库节点

节点名称IP默认端口
数据库主节点172.16.19.1515432,5433,26001,26002,26003
数据库备节点172.16.19.1525432,5433,26001,26002,26003

安装数据库

和dcs放在同级目录,新建目录
/opt/vastdata/vastbase
image.png

将目录权限给数据库用户(这里使用vastbase)
chown -R vastbase:vastbase /opt/vastdata/vastbase
安装

获取安装包,按照单机安装的操作安装
安装路径选择上述目录
image.png

查看安装后目录
image.png

删掉omTmp并且取消软链接
image.png

主库配置
  • postgresql.conf
    在/opt/vastdata/vastbase/data/vastbase/postgresql.conf
    添加以下配置项

    #For Replication
    replication_type = 1
    application_name = 'vb1'
    recovery_max_workers = 1
    password_encryption_type=0
    replconninfo1 = 'localhost=172.16.19.151 localport=26001 localheartbeatport=26002 localservice=26003 remotehost=172.16.19.152 remoteport=26001 remoteheartbeatport=26002 remoteservice=26003'
    wal_level=hot_standby
    hot_standby=on
    vastbase_login_info=false 
    synchronous_commit=off
    synchronous_standby_names = '*'   # * for sync, empty for async
    remote_read_mode='non_authentication'
  • pg_hba.conf
    /opt/vastdata/vastbase/data/vastbase/pg_hba.conf
    添加
    image.png

    启动主库
    vb_ctl -M primary start

    创建用户
    image.png

    备库配置

  • 参考主库安装
  • 拷贝主库配置文件略作修改
  • postgresql.conf

    #For Replication
    replication_type = 1
    application_name = 'vb2'
    recovery_max_workers = 1
    password_encryption_type=0
    replconninfo1 = 'localhost=172.16.19.152 localport=26001 localheartbeatport=26002 localservice=26003 remotehost=172.16.19.151 remoteport=26001 remoteheartbeatport=26002 remoteservice=26003'
    wal_level=hot_standby
    hot_standby=on
    vastbase_login_info=false 
    synchronous_commit=off
    synchronous_standby_names = '*'   # * for sync, empty for async
    remote_read_mode='non_authentication'

    启动备库

    vb_ctl build

    使用vb_ctl query查看状态

    主库
    image.png
    备库
    image.png

has

HAS节点

节点名称IP默认端口
HAS1(数据库主节点)172.16.19.1518008
HAS2(数据库备节点)172.16.19.1528008

安装

和dcs、vastbase放在同一级目录
/opt/vastdata/has
获取压缩包并调整目录结构
image.png

image.png

配置HAS

配置文件放在/opt/vastdata/has/etc目录下
这里命名为vastbase.yml

scope: vastbase_ha_inst                                      # 集群实例名称
namespace: /vastbase/                                        # 集群实例所在的命名空间,默认是/service
name: 'vb1'                                       # 节点在集群内的名称,每个节点都必须不一样,通过hasctl list命令查看高可用集群状态时,在Member显示该名称

restapi:
  listen: 172.16.19.151:8008                               # has服务监听的套接字,192.168.100.1为本节点的IP地址,下面的配置信息涉及192.168.100.1均表示本节点IP地址
  connect_address: 172.16.19.152:8008                       # 高可用集群内,其他节点通过本参数的地址访问本节点的has服务

etcd:
  hosts: 172.16.19.151:2379,172.16.19.152:2379,172.16.19.153:2379    # dcs地址集

bootstrap:
  dcs:
    ttl: 30                                                     # 持有单个DCS key的最长时间,单位秒,例如主节点持有leader key,如果不能再该时间内更新leader key,那么可以认为发生failover
    loop_wait: 10                                               # has两次执行工作之间的时间间隔,单位秒
    retry_timeout: 10                                           # 重试次数
    maximum_lag_on_failover: 1048576                            # 从库允许被参与选举主库,最大的延迟字节数
    synchronous_mode: 'true'                                    # 是否开启同步模式,开启后,has会决定哪个节点是同步备库并覆盖数据库配置文件内的synchronous_standby_names参数
    postgresql:
      use_pg_rewind: true                                       # 是否使用rewind,必须开启
      use_slots: true                                           # 是否使用复制槽,必须开启
      parameters:                                               # 实验目的这次不配置该部分
        port: 5432                                              # 非必须

  initdb:
  - encoding: UTF8

  pg_hba:
  - host all vastbase 172.16.19.151/32 trust           # 配置集群内所有节点的${initdb_user}用户远程访问为trust,否则增量build失败,${initdb_user}为初始化实例的用户,一般与操作系统用户同名;如果是IPV6地址,需要替换IP为IPV6,例如:- host all ${initdb_user} 2001:0:3238:e1:63::133/24 trust   
  - host all vastbase 172.16.19.151/32 trust
  - host all vastbase 172.16.19.152/32 trust
  - host all all 0.0.0.0/0 md5                                # 此行配置必须在最后;如果是IPV6地址,需要替换IP为IPV6,例如:- host all all ::0/0 md5 

postgresql:
  callbacks:
    on_start: /opt/vastdata/has/etc/has_vip.sh     # 回调脚本路径,一般用于管理VIP
    on_stop: /opt/vastdata/has/etc/has_vip.sh 
    on_role_change: /opt/vastdata/has/etc/has_vip.sh 
  listen: 0.0.0.0:5432
  connect_address: 172.16.19.151:5432
  use_unix_socket: true
  use_extreme_rto: false                                      # 如果开启极致RTO,该参数必须设置为true,开启极致RTO后,备机不可读
  pg_ctl_timeout: 600                                         # 数据库启动超时时间,根据实际情况设置
  data_dir: /opt/vastdata/vastbase/data/vastbase                      # 数据库实例路径
  config_dir: /opt/vastdata/vastbase/data/vastbase                    # 数据库实例配置文件路径
  bin_dir: /opt/vastdata/vastbase/bin                  # 数据库可执行文件路径
  vastbase_lib_dir: /opt/vastdata/vastbase/lib://opt/vastdata/vastbase/jre/lib/amd64:/opt/vastdata/vastbase/jre/lib/amd64/server         # 数据库共享库路径 amd64 for x86, aarch64 for arm
  vastbase_home: /opt/vastdata/vastbase                # 数据库安装路径
  authentication:
    replication:
      username: tcpp                     #不能与初始化实例的用户同名
      password: tcpp@123                                     #需提前将用户的密码修改为本配置项的取值。即本样例中应在部署has前将vbadmin用户的密码修改为Vbase@admin。
    superuser:
      username: tcpp                     #不能与初始化实例的用户同名
      password: tcpp@123                                      #需提前将用户的密码修改为本配置项的取值。即本样例中应在部署has前将vbadmin用户的密码修改为Vbase@admin。
  parameters:                                                # 个性化配置部分,以下配置项建议写到该部分
    application_name: vb1                         # 数据库节点名称,建议与第3行的name参数保持一致,否则synchronous_mode开后后不生效,此外,此参数不要写在bootstrap部分
    archive_mode: on                                         # 是否开启归档,根据实际情况
    archive_command: 'cp %p /data/archive/%f'                # 根据实际情况配置
    archive_dest: '/opt/vastdata/vastbase/data/vastbase/archive'                            # 直接指定归档目录,效率比archive_command高,设置本参数后archive_command参数失效
    unix_socket_directory: '/tmp'
    replconninfo1: 'localhost=172.16.19.151 localport=55434 localheartbeatport=55435 localservice=55436 remotehost=172.16.19.152 remoteport=55434 remoteheartbeatport=55435 remoteservice=55436'

配置HAS服务

添加has.service
目录层级为
image.png

注意这里有一个has_env文件,在里面配置一些环境变量,不然启动会报错。这些变量在/home/vastbase/.Vastbase配置了,仍然无法获取到只能添加这么个文件

  • has.service
    image.png
  • has.env
    image.png

创建软链接

ln -sf /opt/vastdata/has/has.service /usr/lib/systemd/system/has.service

配置VIP

创建has_vip.sh按照模板修改就行。

启动HAS

因为用vastbase用户启动服务,需要将has目录的owner改为vastbase

systemctl daemon-reload
systemctl start has

查看最终结果

image.png

总结

目录总体结构

image.png

主要是为了熟悉集群搭建的步骤,遇到的问题没有详细描述了,还有一些细节的操作还是要阅读官网文档。遇到的问题主要在HAS配置上,(就是has.env那里面的环境变量读不到导致启动不了。。。)。至于为什么搞成这个目录格式呢?因为有个做rpm包的任务,可能安装之后就长成这个样,然后可以帮助自己明确最后做出来的rpm包的效果吧。一是目录效果,二是安装之后提供怎样的功能,三是搞完了知道怎么去验证做的对不对。


修狗
6 声望0 粉丝

而极少数上天的宠儿,他们在年少的时候就能隐约感受到那片天空的微光,这种光诱惑他们仰之弥高,钻之弥坚。多令人向往呀![链接]