MongoDB集群分片安装部署手册

头像
妞见妞爱
    阅读 9 分钟
    2

    1 简介

    1.1 简介

    MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。
    MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。
    MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。

    官网： https://www.mongodb.com

    1.2 参考资料

    https://www.jianshu.com/p/e18...
    https://www.cnblogs.com/tians...
    https://blog.csdn.net/weixin_...
    https://blog.csdn.net/eagle89...

    2 单机部署

    2.1 单机部署环境

    操作系统：CentOS7 +
    三台服务器：192.168.90.225
    安装包： mongodb-linux-x86_64-4.0.10.tgz

    2.2 安装MongoDB单机测试

    2.2.1 目录规划

    mkdir /usr/local/tmp    #临时目录，用于上传压缩包
mkdir  /topinfo  #mongodb的安装目录

    2.2.2 上传MongoDB安装包

    上传安装包：

    cd  /usr/local/tmp/   # 跳转到临时目录
rz   #通过rz 上传mongodb-linux-x86_64-4.0.10.tgz

    2.2.3 安装

    1、解压

    tar -zxvf  mongodb-linux-x86_64-4.0.10.tgz   # 解压
mv mongodb-linux-x86_64-4.0.10  mongodb  #重命名
mv /usr/local/tmp/mongodb  /topinfo  # 将解压包拷贝到指定目录

    2、MongoDB 的可执行文件位于 bin 目录下，所以可以将其添加到 PATH 路径中：

    vim /etc/profile
     #加入以下内容
export MONGODB_HOME=/topinfo/mongodb
export PATH=$MONGODB_HOME/bin:$PATH
     #保持退出后，执行以下命令，立即生效
source /etc/profile

    3、环境变量验证
    使用命令mongod -v输出信息版本信息验证环境变量是否配置成功

    mongod -v

    2.2.4 创建数据库目录

    1、创建数据库的目录
    MongoDB的默认数据存储在跟目录data/db目录下，但是这个目录在安装过程不会自动创建，所以你需要手动创建data目录，并在data目录。
    注意： data/db 是 MongoDB 默认的启动的数据库路径。如果你的数据库目录不是/data/db，可以通过 --dbpath 来指定。(mongod --dbpath /usr/local/mongo/data)

    如果是不是分片，则可以暂时不需要创建数据库的目录。后续在分配中创建。

    mkdir  -p  /topinfo/mongodb/data  # 创建数据库数据目录

mkdir  -p  /topinfo/mongodb/logs  # 创建数据库日志目录

    2.2.5 启动

    先测试一下 MongoDB 是否安装成功：

    which   mongod

    显示 MongoDB 的bin/mongod 路径则表示安装成功。

    启动mongodb:
    你可以再命令行中执行mongo安装目录中的bin目录执行mongod命令来启动mongdb服务。
    MongoDB后台运行，启动时只需添加 --fork函数即可。可以在日志路径后面添加--logappend，防止日志被删除。

    mongod --fork --dbpath= /topinfo/mongodb/data --logpath= /topinfo/mongodb/logs/mongodb2.log --logappend

    查看进程：

    ps -ef | grep mongo

    停止MongoDB

    mongod -shutdown --dbpath= /topinfo/mongodb /data --logpath= /topinfo/mongodb /logs/mongodb2.log --logappend

    2.2.6 远程连接

    MongoDB数据库启动后，默认只能在本地使用，如果远程访问，需要进行一下设置。
    1、关闭防火墙，或开放对应的端口

    systemctl  stop  firewalld

    2、启动命令中添加 。--bind_ip=0.0.0.0

    mongod --fork --dbpath= /topinfo/mongodb /data --logpath= /topinfo/mongodb /logs/mongodb2.log --logappend  --bind_ip=0.0.0.0

    在用客户端连接如图：

    clipboard.png

    3 分片部署

    3.1 分片部署环境

    操作系统：CentOS7 +
    三台服务器：192.168.90.225/226/227
    安装包： mongodb-linux-x86_64-4.0.10.tgz

    3.2 部署设计

    3.2.1 机器规划

    为了更好的均衡机器的压力，把每个机器既可以作为主节点、副本节点、仲裁节点，这样压力就会均衡很多了。

    clipboard.png

    3.2.2 端口规划

    由于一个机器需要同时部署 mongos、config server 、shard1、shard2、shard3，所以需要用端口进行区分。
    端口分配：
    config：21000
    shard1：27001
    shard2：27002
    shard3：27003
    mongos：20000

    3.2.3 目录规划

    1、 创建安装和临时目标

    mkdir  /usr/local/tmp    #临时目录，用于上传压缩包
mkdir  /topinfo   #mongodb的安装目录

    2、目录规划

    mkdir -p /topinfo/mongodb/conf  # 存放所有服务器的配置文件
mkdir -p /topinfo/mongodb/mongos/logs # 存放路由服务器的日志信息
mkdir -p /topinfo/mongodb/config/data # 存放配置服务器的数据
mkdir -p /topinfo/mongodb/config/logs # 存放配置服务器的日志
mkdir -p /topinfo/mongodb/shard1/data # 存放分片服务器上的数据
mkdir -p /topinfo/mongodb/shard1/logs # 存放分片服务器上的日志
mkdir -p /topinfo/mongodb/shard2/data # 存放分片服务器上的数据
mkdir -p /topinfo/mongodb/shard2/logs # 存放分片服务器上的日志
mkdir -p /topinfo/mongodb/shard3/data # 存放分片服务器上的数据
mkdir -p /topinfo/mongodb/shard3/logs # 存放分片服务器上的日志

    根据服务器规划：
    1、mongo服务通过配置文件启动,存放配置文件目录/topinfo/mongodb/conf
    2、在每台服务器创建该节点所含shard的数据存放目录/topinfo/mongodb/shard1-3
    3、在每台服务器（也可以在其中两台）创建存放config server数据的数据目录/topinfo/mongodb/config，本次配置是在三台机器上都配置。

    故：分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录，因为mongos不存储数据，只需要建立日志文件目录即可。

    如图：

    clipboard.png

    3.3 安装

    3.3.1 上传MongoDB安装包

    上传安装包：

    cd  /usr/local/tmp/   # 跳转到临时目录
rz   #通过rz 上传mongodb-linux-x86_64-4.0.10.tgz

    3.3.2 安装

    1、解压

    tar -zxvf  mongodb-linux-x86_64-4.0.10.tgz   # 解压
mv mongodb-linux-x86_64-4.0.10  mongodb  #重命名
mv /usr/local/tmp/mongodb  /topinfo  # 将解压包拷贝到指定目录

    2、MongoDB 的可执行文件位于 bin 目录下，所以可以将其添加到 PATH 路径中：

    vim /etc/profile
     #加入以下内容
export MONGODB_HOME=/topinfo/mongodb
export PATH=$MONGODB_HOME/bin:$PATH
     #保持退出后，执行以下命令，立即生效
source /etc/profile

    如图：

    3、环境变量验证
    使用命令mongod -v输出信息版本信息验证环境变量是否配置成功

    mongod -v

    如图：

    clipboard.png

    3.4 config server集群配置

    3.4.1 config server服务器（副本集）

    根据服务器规划，我们在三台机器上部署config server副本集，在该三台服务器上分别添加以下配置文件：
    进入配置文件目录 /topinfo/mongodb/conf/config.conf

    vi  /topinfo/mongodb/conf/config.conf

    添加配置文件信息：

     # where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /topinfo/mongodb/config/logs/config.log
 
 # Where and how to store data.
storage:
  dbPath: /topinfo/mongodb/config/data/
  journal:
    enabled: true

 # how the process runs 
processManagement:
  fork: true
  pidFilePath: /topinfo/mongodb/config/logs/configsrv.pid
 
 # network interfaces
net:
  port: 21000
  bindIp: 0.0.0.0
 
 # 集群名称
replication:
  replSetName: configs       

 # 声明这是一个集群的配置数据服务
sharding:
  clusterRole: configsvr

    退出保存：

    wq!

    启动三台服务器的 config server

    mongod -f /topinfo/mongodb/conf/config.conf

    登录任意一台配置服务器(注意是配置端口)，初始化配置副本集(执行命令的时候，不要复制注释，只复制命令去一步步执行)。

    mongo --port  21000

    定义副本集配置（键“_id”对应的值必须与配置文件中的replicaction.replSetName一致）

    config = {
      _id : "configs",
        members : [
            {_id : 0, host : "192.168.90.225:21000" },
            {_id : 1, host : "192.168.90.226:21000" },
            {_id : 2, host : "192.168.90.227:21000" }
        ]
    }

    初始化副本集

    rs.initiate(config)

    查看分区状态

    rs.status();

    此时会发现终端上的输出已经有了变化。

    rs.initiate(config) 初始化。不成功的话，路由服务器与配置服务器连接不上。
    其中，”_id” : “configs”应与配置文件中配置的 replicaction.replSetName 一致，”members” 中的 “host” 为三个节点的 ip 和 配置port。

    3.5 shard server分片服务器集群配置

    3.5.1 配置第一个分片副本集

    根据服务器规划：
    192.168.90.225: 27001 - 主节点
    192.168.90.226: 27001 - 副节点
    192.168.90.227: 27001 - 仲裁节点

    三台服务器上分别添加以下配置文件：
    进入配置文件：

    vi  /topinfo/mongodb/conf/shard1.conf  #分片配置文件

    配置文件内容：

    # where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /topinfo/mongodb/shard1/logs/shard1.log
 
 # Where and how to store data.
storage:
  dbPath: /topinfo/mongodb/shard1/data
  journal:
    enabled: true

 # how the process runs
processManagement:
  fork: true
  pidFilePath: /topinfo/mongodb/shard1/logs/shard1.pid
 
 # network interfaces
net:
  port: 27001
  bindIp: 0.0.0.0
 
 # 副本集名称
replication:
  replSetName: shard1

 # 声明这是一个集群的分片服务;
sharding:
  clusterRole: shardsvr

    启动三台服务器的shard1 server

    mongod -f /topinfo/mongodb/conf/shard1.conf

    登陆任意一台服务器(注意是分片端口)，初始化副本集(执行命令的时候，不要复制注释，只复制命令去一步步执行)

    mongo --port  27001
    #定义副本集配置（键“_id”对应的值必须与配置文件中的replicaction.replSetName一致,priority代表权重[1,100]，大的被分配为主服务器，0永久不会变为主服务器）
config = {
       _id : "shard1",
        members : [
            {_id : 0, host : "192.168.90.225:27001", priority : 2 },
            {_id : 1, host : "192.168.90.226:27001", arbiterOnly :true },
            {_id : 2, host : "192.168.90.227:27001", priority : 1 }
        ]
    }

 #初始化副本集
rs.initiate(config)

 #查看分区状态
rs.status();

    3.5.2 设置第二个分片副本集

    其他副本集都按照以上方式进行配置：
    注意事项：
    1、复制集的名称不要重复
    2、ip和端口根据分配进行配置
    3、合理分配仲裁服务器的位置（因为仲裁不存放数据，很轻，合理的分配，可以分担其他服务器的压力）

    3.6 mongos server路由服务器集群配置

    3.6.1 配置mongos

    注意：启动mongodb时，先启动配置服务器，再启动分片服务器，最后启动路由服务器。

    根据服务器规划，我们在每台服务器都配置了mongos:
    192.168.90.225: 20000 - mongos
    192.168.90.226: 20000 - mongos
    192.168.90.227: 20000 - mongos
    三台服务器上分别添加以下配置文件：
    进入配置文件：

    vi /topinfo/mongodb/conf/mongos.conf
    配置文件内容
 # where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /topinfo/mongodb/mongos/logs/mongos.log

 # how the process runs
processManagement:
  fork: true
 #  pidFilePath: /var/log/nginx/mongos.pid
 
 # network interfaces
net:
  port: 20000
  bindIp: 0.0.0.0
  
 #监听的配置服务器,只能有1个或者3个，configs为配置服务器的副本集名字，ip:configs配置服务器的端口
sharding:
  configDB: configs/192.168.90.225:21000,192.168.90.226:21000,192.168.90.227:21000

    启动三台服务器的mongos server

    mongos -f /topinfo/mongodb/conf/mongos.conf

    目前已经搭建好配置服务器、数据分片服务器、路由服务器，下面进行分片启用，使得app连接到路由服务器时可以使用分片机制

    3.6.2 串联路由服务器与分配副本集

    登录任意一台mongos：

    mongo --port  20000

    使用admin数据库

    use  admin

    串联路由服务器与分片副本集：

     #串联路由服务器与分片副本集
sh.addShard("shard1/192.168.90.225:27001,192.168.90.226:27001,192.168.90.227:27001")
 #sh.addShard("shard2/192.168.90.225:27001,192.168.90.226:27001,192.168.90.227:27001")

    查看集群状态：

    sh.status()

    如图：

    3.6.3 启动分片

    目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。
    指定testdb分片生效

    use  admin   # enableSharding只能针对admin数据库运行，适宜选用admin
    db.runCommand( { enablesharding :"testdb"});

    指定数据库里需要分片的集合和片键:
    我们设置testdb的 testcoll 表需要分片，根据 id 自动分片到 shard1 ，shard2，.. 上面去。

    db.runCommand( { shardcollection : "testdb.testcoll",key : {id: "hashed"} } )

    要这样设置是因为不是所有mongodb 的数据库和表 都需要分片！!

    查看分片状态

    db.testcoll.stats()

    3.7 分片测试

    3.7.1 测试

    连接 MongoDB 路由服务:

    clipboard.png

    执行测试语句：

    for(i=1;i<=10000;i++){db.testcoll.insert({"id":i,"name":"yangp"})};

    查看分片结果：

    db.testcoll.stats();

    如图：

    clipboard.png

    clipboard.png

    说明分片成功！

    4 注意事项

    4.1 分片配置异常

    4.1.1 执行命令

    分片配置副本集的执行以下：

     #定义副本集配置（键“_id”对应的值必须与配置文件中的replicaction.replSetName一致,priority代表权重[1,100]，大的被分配为主服务器，0永久不会变为主服务器）
config = {
       _id : "shard1",
        members : [
            {_id : 0, host : "192.168.90.225:27001", priority : 2 },
            {_id : 1, host : "192.168.90.226:27001", priority : 1 },
            {_id : 2, host : "192.168.90.227:27001", arbiterOnly :true }
        ]
    }

 #初始化副本集
rs.initiate(config)
    4.1.2 异常日志
    This node, 192.168.90.227:27001, with _id 2 is not electable under the new configuration version 1 for replica set shard1",

    4.1.3 异常处理

    192.168.90.227这台服务器不能初始化，换一台机器做仲裁，顺利通过。

    #定义副本集配置（键“_id”对应的值必须与配置文件中的replicaction.replSetName一致,priority代表权重[1,100]，大的被分配为主服务器，0永久不会变为主服务器）
config = {
       _id : "shard1",
        members : [
            {_id : 0, host : "192.168.90.225:27001", priority : 2 },
            {_id : 1, host : "192.168.90.226:27001", arbiterOnly :true },
            {_id : 2, host : "192.168.90.227:27001", priority : 1 }
        ]
    }

 #初始化副本集
rs.initiate(config)

 #查看分区状态
rs.status();

    4.2 MongoDB 常用命令

    4.2.1 启动命令

    4.2.2 停止命令

    mongod  -shutdown  -dbpath=/usr/local/mongodb/data

    或

    use admin
db.shutdownServer()
    mongodb
    妞见妞爱
    44 声望15 粉丝

    时光，不会辜负每一个平静努力的人...

    « 上一篇
    百度，高德，Google地图定位偏移以及坐标系转换
    下一篇 »
    SpringBoot + MongoDB 分片集群的集成

    引用和评论

    推荐阅读
    头像
    AES 加密工具（Java版本）

    妞见妞爱阅读 33

    头像
    MongoDB Atlas与YoMio.AI近乎完美适配:推理更快速、查询更灵活、场景更丰富

    MongoDB数据平台赞 1阅读 12.4k

    头像
    阿里云ECS服务器部署Node.js项目全过程详解

    kovli赞 1阅读 6k

    头像
    MongoDB 8.0已全面可用

    MongoDB数据平台阅读 12k

    头像
    简道云搭载阿里云MongoDB数据库，帮助数以万计企业重构业务系统

    MongoDB数据平台阅读 11.3k

    头像
    使用 MongoDB 构建 AI：Patronus 如何自动进行大语言模型评估来增强对生成式 AI 的信心

    MongoDB数据平台阅读 7.3k

    头像
    高效工程师的七个习惯

    Bytebase赞 3阅读 649

    0 条评论
    得票最新