2

1 简介

1.1 简介

MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。
MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。
MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档,数组及文档数组。

官网: https://www.mongodb.com

1.2 参考资料

https://www.jianshu.com/p/e18...
https://www.cnblogs.com/tians...
https://blog.csdn.net/weixin_...
https://blog.csdn.net/eagle89...

2 单机部署

2.1 单机部署环境

操作系统:CentOS7 +
三台服务器:192.168.90.225
安装包: mongodb-linux-x86_64-4.0.10.tgz

2.2 安装MongoDB单机测试

2.2.1 目录规划

mkdir /usr/local/tmp    #临时目录,用于上传压缩包
mkdir  /topinfo  #mongodb的安装目录

2.2.2 上传MongoDB安装包

上传安装包:

cd  /usr/local/tmp/   # 跳转到临时目录
rz   #通过rz 上传mongodb-linux-x86_64-4.0.10.tgz

2.2.3 安装

1、解压

tar -zxvf  mongodb-linux-x86_64-4.0.10.tgz   # 解压
mv mongodb-linux-x86_64-4.0.10  mongodb  #重命名
mv /usr/local/tmp/mongodb  /topinfo  # 将解压包拷贝到指定目录

2、MongoDB 的可执行文件位于 bin 目录下,所以可以将其添加到 PATH 路径中:

vim /etc/profile
 #加入以下内容
export MONGODB_HOME=/topinfo/mongodb
export PATH=$MONGODB_HOME/bin:$PATH
 #保持退出后,执行以下命令,立即生效
source /etc/profile

3、环境变量验证
使用命令mongod -v输出信息版本信息验证环境变量是否配置成功

mongod -v

2.2.4 创建数据库目录

1、创建数据库的目录
MongoDB的默认数据存储在跟目录data/db目录下,但是这个目录在安装过程不会自动创建,所以你需要手动创建data目录,并在data目录。
注意: data/db 是 MongoDB 默认的启动的数据库路径。如果你的数据库目录不是/data/db,可以通过 --dbpath 来指定。(mongod --dbpath /usr/local/mongo/data)

如果是不是分片,则可以暂时不需要创建数据库的目录。后续在分配中创建。

mkdir  -p  /topinfo/mongodb/data  # 创建数据库数据目录

mkdir  -p  /topinfo/mongodb/logs  # 创建数据库日志目录

2.2.5 启动

先测试一下 MongoDB 是否安装成功:

which   mongod

显示 MongoDB 的bin/mongod 路径则表示安装成功。

启动mongodb:
你可以再命令行中执行mongo安装目录中的bin目录执行mongod命令来启动mongdb服务。
MongoDB后台运行,启动时只需添加 --fork函数即可。可以在日志路径后面添加--logappend,防止日志被删除。

mongod --fork --dbpath= /topinfo/mongodb/data --logpath= /topinfo/mongodb/logs/mongodb2.log --logappend

查看进程:

ps -ef | grep mongo

停止MongoDB

mongod -shutdown --dbpath= /topinfo/mongodb /data --logpath= /topinfo/mongodb /logs/mongodb2.log --logappend

2.2.6 远程连接

MongoDB数据库启动后,默认只能在本地使用,如果远程访问,需要进行一下设置。
1、关闭防火墙,或开放对应的端口

systemctl  stop  firewalld

2、启动命令中添加 。--bind_ip=0.0.0.0

mongod --fork --dbpath= /topinfo/mongodb /data --logpath= /topinfo/mongodb /logs/mongodb2.log --logappend  --bind_ip=0.0.0.0

在用客户端连接如图:

clipboard.png

3 分片部署

3.1 分片部署环境

操作系统:CentOS7 +
三台服务器:192.168.90.225/226/227
安装包: mongodb-linux-x86_64-4.0.10.tgz

3.2 部署设计

3.2.1 机器规划

为了更好的均衡机器的压力,把每个机器既可以作为主节点、副本节点、仲裁节点,这样压力就会均衡很多了。

clipboard.png

3.2.2 端口规划

由于一个机器需要同时部署 mongos、config server 、shard1、shard2、shard3,所以需要用端口进行区分。
端口分配:
config:21000
shard1:27001
shard2:27002
shard3:27003
mongos:20000

3.2.3 目录规划

1、 创建安装和临时目标

mkdir  /usr/local/tmp    #临时目录,用于上传压缩包
mkdir  /topinfo   #mongodb的安装目录

2、目录规划

mkdir -p /topinfo/mongodb/conf  # 存放所有服务器的配置文件
mkdir -p /topinfo/mongodb/mongos/logs # 存放路由服务器的日志信息
mkdir -p /topinfo/mongodb/config/data # 存放配置服务器的数据
mkdir -p /topinfo/mongodb/config/logs # 存放配置服务器的日志
mkdir -p /topinfo/mongodb/shard1/data # 存放分片服务器上的数据
mkdir -p /topinfo/mongodb/shard1/logs # 存放分片服务器上的日志
mkdir -p /topinfo/mongodb/shard2/data # 存放分片服务器上的数据
mkdir -p /topinfo/mongodb/shard2/logs # 存放分片服务器上的日志
mkdir -p /topinfo/mongodb/shard3/data # 存放分片服务器上的数据
mkdir -p /topinfo/mongodb/shard3/logs # 存放分片服务器上的日志

根据服务器规划:
1、mongo服务通过配置文件启动,存放配置文件目录/topinfo/mongodb/conf
2、在每台服务器创建该节点所含shard的数据存放目录/topinfo/mongodb/shard1-3
3、在每台服务器(也可以在其中两台)创建存放config server数据的数据目录/topinfo/mongodb/config,本次配置是在三台机器上都配置。

故:分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录,因为mongos不存储数据,只需要建立日志文件目录即可。

如图:

clipboard.png

3.3 安装

3.3.1 上传MongoDB安装包

上传安装包:

cd  /usr/local/tmp/   # 跳转到临时目录
rz   #通过rz 上传mongodb-linux-x86_64-4.0.10.tgz

3.3.2 安装

1、解压

tar -zxvf  mongodb-linux-x86_64-4.0.10.tgz   # 解压
mv mongodb-linux-x86_64-4.0.10  mongodb  #重命名
mv /usr/local/tmp/mongodb  /topinfo  # 将解压包拷贝到指定目录

2、MongoDB 的可执行文件位于 bin 目录下,所以可以将其添加到 PATH 路径中:

vim /etc/profile
 #加入以下内容
export MONGODB_HOME=/topinfo/mongodb
export PATH=$MONGODB_HOME/bin:$PATH
 #保持退出后,执行以下命令,立即生效
source /etc/profile

如图:

3、环境变量验证
使用命令mongod -v输出信息版本信息验证环境变量是否配置成功

mongod -v

如图:

clipboard.png

3.4 config server集群配置

3.4.1 config server服务器(副本集)

根据服务器规划,我们在三台机器上部署config server副本集,在该三台服务器上分别添加以下配置文件:
进入配置文件目录 /topinfo/mongodb/conf/config.conf

vi  /topinfo/mongodb/conf/config.conf

添加配置文件信息:

 # where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /topinfo/mongodb/config/logs/config.log
 
 # Where and how to store data.
storage:
  dbPath: /topinfo/mongodb/config/data/
  journal:
    enabled: true

 # how the process runs 
processManagement:
  fork: true
  pidFilePath: /topinfo/mongodb/config/logs/configsrv.pid
 
 # network interfaces
net:
  port: 21000
  bindIp: 0.0.0.0
 
 # 集群名称
replication:
  replSetName: configs       

 # 声明这是一个集群的配置数据服务
sharding:
  clusterRole: configsvr

退出保存:

wq!

启动三台服务器的 config server

mongod -f /topinfo/mongodb/conf/config.conf 

登录任意一台配置服务器(注意是配置端口),初始化配置副本集(执行命令的时候,不要复制注释,只复制命令去一步步执行)。

mongo --port  21000

定义副本集配置(键“_id”对应的值必须与配置文件中的replicaction.replSetName一致)

config = {
      _id : "configs",
        members : [
            {_id : 0, host : "192.168.90.225:21000" },
            {_id : 1, host : "192.168.90.226:21000" },
            {_id : 2, host : "192.168.90.227:21000" }
        ]
    }

初始化副本集

rs.initiate(config)

查看分区状态

rs.status();

此时会发现终端上的输出已经有了变化。

rs.initiate(config) 初始化。不成功的话,路由服务器与配置服务器连接不上。
其中,”_id” : “configs”应与配置文件中配置的 replicaction.replSetName 一致,”members” 中的 “host” 为三个节点的 ip 和 配置port。

3.5 shard server分片服务器集群配置

3.5.1 配置第一个分片副本集

根据服务器规划:
192.168.90.225: 27001 - 主节点
192.168.90.226: 27001 - 副节点
192.168.90.227: 27001 - 仲裁节点

三台服务器上分别添加以下配置文件:
进入配置文件:

vi  /topinfo/mongodb/conf/shard1.conf  #分片配置文件

配置文件内容:

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /topinfo/mongodb/shard1/logs/shard1.log
 
 # Where and how to store data.
storage:
  dbPath: /topinfo/mongodb/shard1/data
  journal:
    enabled: true

 # how the process runs
processManagement:
  fork: true
  pidFilePath: /topinfo/mongodb/shard1/logs/shard1.pid
 
 # network interfaces
net:
  port: 27001
  bindIp: 0.0.0.0
 
 # 副本集名称
replication:
  replSetName: shard1

 # 声明这是一个集群的分片服务;
sharding:
  clusterRole: shardsvr

启动三台服务器的shard1 server

mongod -f /topinfo/mongodb/conf/shard1.conf

登陆任意一台服务器(注意是分片端口),初始化副本集(执行命令的时候,不要复制注释,只复制命令去一步步执行)

mongo --port  27001
#定义副本集配置(键“_id”对应的值必须与配置文件中的replicaction.replSetName一致,priority代表权重[1,100],大的被分配为主服务器,0永久不会变为主服务器)
config = {
       _id : "shard1",
        members : [
            {_id : 0, host : "192.168.90.225:27001", priority : 2 },
            {_id : 1, host : "192.168.90.226:27001", arbiterOnly :true },
            {_id : 2, host : "192.168.90.227:27001", priority : 1 }
        ]
    }

 #初始化副本集
rs.initiate(config)

 #查看分区状态
rs.status();

3.5.2 设置第二个分片副本集

其他副本集都按照以上方式进行配置:
注意事项:
1、复制集的名称不要重复
2、ip和端口根据分配进行配置
3、合理分配仲裁服务器的位置(因为仲裁不存放数据,很轻,合理的分配,可以分担其他服务器的压力)

3.6 mongos server路由服务器集群配置

3.6.1 配置mongos

注意:启动mongodb时,先启动配置服务器,再启动分片服务器,最后启动路由服务器。

根据服务器规划,我们在每台服务器都配置了mongos:
192.168.90.225: 20000 - mongos
192.168.90.226: 20000 - mongos
192.168.90.227: 20000 - mongos
三台服务器上分别添加以下配置文件:
进入配置文件:

vi /topinfo/mongodb/conf/mongos.conf
配置文件内容
 # where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /topinfo/mongodb/mongos/logs/mongos.log

 # how the process runs
processManagement:
  fork: true
 #  pidFilePath: /var/log/nginx/mongos.pid
 
 # network interfaces
net:
  port: 20000
  bindIp: 0.0.0.0
  
 #监听的配置服务器,只能有1个或者3个,configs为配置服务器的副本集名字,ip:configs配置服务器的端口
sharding:
  configDB: configs/192.168.90.225:21000,192.168.90.226:21000,192.168.90.227:21000

启动三台服务器的mongos server

mongos -f /topinfo/mongodb/conf/mongos.conf

目前已经搭建好配置服务器、数据分片服务器、路由服务器,下面进行分片启用,使得app连接到路由服务器时可以使用分片机制

3.6.2 串联路由服务器与分配副本集

登录任意一台mongos:

mongo --port  20000 

使用admin数据库

use  admin

串联路由服务器与分片副本集:

 #串联路由服务器与分片副本集
sh.addShard("shard1/192.168.90.225:27001,192.168.90.226:27001,192.168.90.227:27001")
 #sh.addShard("shard2/192.168.90.225:27001,192.168.90.226:27001,192.168.90.227:27001")

查看集群状态:

sh.status()

如图:

3.6.3 启动分片

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了,但我们的目的是希望插入数据,数据能够自动分片。连接在mongos上,准备让指定的数据库、指定的集合分片生效。
指定testdb分片生效

use  admin   # enableSharding只能针对admin数据库运行,适宜选用admin
db.runCommand( { enablesharding :"testdb"});

指定数据库里需要分片的集合和片键:
我们设置testdb的 testcoll 表需要分片,根据 id 自动分片到 shard1 ,shard2,.. 上面去。

db.runCommand( { shardcollection : "testdb.testcoll",key : {id: "hashed"} } )

要这样设置是因为不是所有mongodb 的数据库和表 都需要分片!!

查看分片状态

db.testcoll.stats()

3.7 分片测试

3.7.1 测试

连接 MongoDB 路由服务:

clipboard.png

执行测试语句:

for(i=1;i<=10000;i++){db.testcoll.insert({"id":i,"name":"yangp"})};

查看分片结果:

db.testcoll.stats();

如图:

clipboard.png

clipboard.png

说明分片成功!

4 注意事项

4.1 分片配置异常

4.1.1 执行命令

分片配置副本集的执行以下:

 #定义副本集配置(键“_id”对应的值必须与配置文件中的replicaction.replSetName一致,priority代表权重[1,100],大的被分配为主服务器,0永久不会变为主服务器)
config = {
       _id : "shard1",
        members : [
            {_id : 0, host : "192.168.90.225:27001", priority : 2 },
            {_id : 1, host : "192.168.90.226:27001", priority : 1 },
            {_id : 2, host : "192.168.90.227:27001", arbiterOnly :true }
        ]
    }

 #初始化副本集
rs.initiate(config)
4.1.2 异常日志
This node, 192.168.90.227:27001, with _id 2 is not electable under the new configuration version 1 for replica set shard1",

4.1.3 异常处理

192.168.90.227这台服务器不能初始化,换一台机器做仲裁,顺利通过。

#定义副本集配置(键“_id”对应的值必须与配置文件中的replicaction.replSetName一致,priority代表权重[1,100],大的被分配为主服务器,0永久不会变为主服务器)
config = {
       _id : "shard1",
        members : [
            {_id : 0, host : "192.168.90.225:27001", priority : 2 },
            {_id : 1, host : "192.168.90.226:27001", arbiterOnly :true },
            {_id : 2, host : "192.168.90.227:27001", priority : 1 }
        ]
    }

 #初始化副本集
rs.initiate(config)

 #查看分区状态
rs.status();

4.2 MongoDB 常用命令

4.2.1 启动命令

4.2.2 停止命令

mongod  -shutdown  -dbpath=/usr/local/mongodb/data

use admin
db.shutdownServer()

妞见妞爱
44 声望15 粉丝

时光,不会辜负每一个平静努力的人...