MySQL Cluster搭建及配置

头像
bestvivi
    阅读 8 分钟
    5

    MySQL Cluster介绍

    MySQL Cluster是一个高性能、可扩展、集群化数据库产品。MySQL Cluster是一个基于NDB Cluster存储引擎的完整分布式数据库系统，采用无共享的数据存储技术，实时同步且支持快速故障切换、事务。NDB是一种in-memory的存储引擎，它具有可用性高和数据一致性好的特点。

    MySQL Cluster可由多台服务器组成的、同时对外提供数据管理服务的分布式集群系统。通过合理的配置，可以将服务请求在多台物理机上分发实现负载均衡 ；同时内部实现了冗余机制，在部分服务器宕机的情况下，整个集群对外提供的服务不受影响，从而能达到99.999%以上的高可用性。

    MySQLCluster组成

    MySQL Cluster分为三类节点：

    • 数据节点（Data Nodes）：用于存储集群的数据。实现底层数据存储的功能，保存Cluster 的数据。每一个NDB 节点保存完整数据的一部分（或者一份完整的数据，视节点数目和配置而定），在MySQL Cluster 里面叫做一个fragment。而每一个fragment，正常情况来讲都会在其他的主机上面有一份（或者多分）完全相同的镜像存在。这些都是通过配置来完成的，所以只要配置得当，MySQL Cluster 在存储层不会出现单点的问题。数据节点是用命令ndbd启动的。

    • SQL节点（SQL Nodes）：向外提供一个标准的SQL语言编程接口。SQL节点负责向数据节点传送访问请求，具体集群过程以及数据库底层均对外透明。
      SQL节点提供用户SQL指令请求，解析、连接管理，query优化和响、cache管理等、数据merge、sort，裁剪等功能，当SQL节点启动时，将向管理节点同步架构信息，用以数据查询路由。SQL节点作为查询入口，需要消耗大量cpu及内存资源，可使用分布式管理节点，并在SQL节点外封装一层请求分发及HA控制机制可解决单点及性能问题，其提供了线性扩展功能。SQL节点是使用命令mysqld -ndbcluster启动的，或将ndbcluster添加到“my.cnf”后使用“mysqld”启动。

    • 管理节点（NDB Management Server）：负责整个Cluster 集群中各个节点的管理工作，包括集群的配置，启动关闭各节点，以及实施数据的备份恢复等。管理节点会获取整个Cluster 环境中各节点的状态和错误信息，并且将各Cluster 集群中各个节点的信息反馈给整个集群中其他的所有节点。通常只需配置一个管理节点；然而为了排除单点故障需要，有可能的话，尽量增加管理节点的数量。MGM节点是用命令ndb_mgm启动的。

    MySQL Cluster搭建

    环境准备

    数据节点：192.168.1.5 192.168.1.6
    SQL节点：192.168.1.2 192.168.1.11
    管理节点：192.168.1.10

    Mysql集群软件：mysql-cluster-gpl-7.2.8-linux2.6-x86_64.tar.gz 下载地址

    管理节点配置

    将MySQL集群软件拷贝到管理节点的/usr/local目录下并解压为mysql，MySQLCluster管理节点默认是要安装在/usr/local下的，否则启动会报错

    添加用户及用户组

    # groupadd mysql
# useradd -g mysql mysql

    更改所属用户和组

    # chown -R mysql:mysql mysql

    拷贝配置文件

    # cp mysql-cluster/support-files/ndb-config-2-node.ini /etc/ndb-config.ini

    修改配置文件，管理节点的配置文件非常重要，会影响整个集群

    # vim /etc/ndb-config.ini

[ndbd default]
NoOfReplicas= 2  #定义在Cluster环境中复制份数
DataMemory= 80M #分配的数据内存大小，根据本机服务器内存适量来分配，实际运用中需要分配很大
IndexMemory= 24M #设定用于存放索引（非主键）数据的内存段大小
#一个NDB节点能存放的数据量是会受到DataMemory和IndexMemory两个参数设置的约束，两者任何一个达到限制数量后，都无法再增加能存储的数据量。如果继续存入数据系统会报错“table is full”。
DataDir= /var/lib/mysql-cluster  #用于存放集群日志信息

DataMeomory=1400M
IndexMemory=600M
LockPagesInMainMemory=1  # 会有问题
MaxNoOfConcurrentOperations=500000
TimeBetweenLocalCheckpoints=20
TimeBetweenGlobalCheckpoints=1000
TimeBetweenEpochs=100
TimeBetweenWatchdogCheckInitial=60000
TransactionInactiveTimeout =50000
MaxNoOfExecutionThreads=8 
BatchSizePerLocalScan=512 
MaxNoOfOrderedIndexes=512
MaxNoOfConcurrentOperations= 10000

[ndb_mgmd]
Id=1
Hostname=192.168.1.10  # Hostname or IP address
#确定该目录存在，并修改所属用户为mysql
DataDir= /var/lib/mysql-cluster # Directory for MGM node logfiles

[ndbd]
Id= 2
HostName= 192.168.1.5 # Hostname or IP address
datadir=/usr/local/mysql/data # Directory for this data node's datafiles，数据节点存放数据的目录

[ndbd]
Id= 3
HostName= 192.168.1.6
datadir=/usr/local/mysql/data

[mysqld]
Id= 4
HostName= 192.168.1.2
#可以预留一些节点
# choose an unused port number
# in this configuration 63132, 63133, and 63134
# will be used
[tcp default]
PortNumber= 63132

    配置完后启动管理节点

    # ./ndb_mgmd --initial -f /etc/ndb-config.ini 
MySQL Cluster Management Server mysql-5.5.27 ndb-7.2.8
2014-08-29 11:22:04 [MgmtSrvr] WARNING  -- at line 31: [MGM] Id is deprecated, use NodeId instead
2014-08-29 11:22:04 [MgmtSrvr] WARNING  -- at line 35: [DB] Id is deprecated, use NodeId instead
2014-08-29 11:22:04 [MgmtSrvr] WARNING  -- at line 39: [DB] Id is deprecated, use NodeId instead
2014-08-29 11:22:04 [MgmtSrvr] WARNING  -- at line 43: [API] Id is deprecated, use NodeId instead
2014-08-29 11:22:04 [MgmtSrvr] WARNING  -- at line 50: [tcp] PortNumber is deprecated
2014-08-29 11:22:04 [MgmtSrvr] WARNING  -- at line 31: [MGM] Id is deprecated, use NodeId instead
2014-08-29 11:22:04 [MgmtSrvr] WARNING  -- at line 35: [DB] Id is deprecated, use NodeId instead
2014-08-29 11:22:04 [MgmtSrvr] WARNING  -- at line 39: [DB] Id is deprecated, use NodeId instead
2014-08-29 11:22:04 [MgmtSrvr] WARNING  -- at line 43: [API] Id is deprecated, use NodeId instead
2014-08-29 11:22:04 [MgmtSrvr] WARNING  -- at line 50: [tcp] PortNumber is deprecated

    其中--initial指定初始化加载，每次修改管理节点的配置重启都需要加上，否则不会生效；-f指定管理节点的参数文件

    确定ndb_mgm进程及端口号

    # netstat -langput | grep mgm
tcp        0      0 0.0.0.0:1186                0.0.0.0:*                   LISTEN      3427/ndb_mgmd       
tcp        0      0 127.0.0.1:45251             127.0.0.1:1186              ESTABLISHED 3427/ndb_mgmd       
tcp        0      0 127.0.0.1:1186              127.0.0.1:45251             ESTABLISHED 3427/ndb_mgmd

    其中1186是管理节点的服务端口

    查看集群信息

    #  ./ndb_mgm
-- NDB Cluster -- Management Client --
ndb_mgm> show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]    2 node(s)
id=2 (not connected, accepting connect from 192.168.1.5)
id=3 (not connected, accepting connect from 192.168.1.6)

[ndb_mgmd(MGM)]    1 node(s)
id=1    @192.168.1.10  (mysql-5.5.27 ndb-7.2.8)

[mysqld(API)]    1 node(s)
id=4 (not connected, accepting connect from 192.168.1.2)

    可以看到当前只有管理节点，其他节点还未启动。

    数据节点和SQL节点配置

    解压MySQLCluster软件到指定目录/usr/local，数据节点可以不用放在/usr/local目录下

    添加用户及用户组

    # groupadd mysql
# useradd -g mysql mysql

    更改所属用户和组

    # chown -R mysql:mysql mysql

    安装数据库

    # /usr/local/mysql/scripts/mysql_install_db --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --user=mysql

    拷贝配置文件

    
# cp /usr/local/mysql/support-files/my-medium.cnf /etc/my.cnf

    修改配置文件

    vim /etc/my.cnf

# Options for mysqld process:
[MYSQLD]                       
ndbcluster                      # run NDB engine
character_set_server=utf8
ndb-connectstring=198.168.1.10  # location of MGM node
 
# Options for ndbd process:
[MYSQL_CLUSTER]                 
ndb-connectstring=198.168.1.10  # location of MGM node

    启动数据节点

    # ./ndbd --initial
2014-08-29 14:04:54 [ndbd] INFO     -- Angel connected to '192.168.1.10:1186'
2014-08-29 14:04:54 [ndbd] INFO     -- Angel allocated nodeid: 2

    启动SQL节点

    # ./mysqld_safe --user=mysql &

    SQL节点启动可以添加到系统服务

    拷贝运行脚本，添加可执行权限

    # cp support-files/mysql.server /etc/init.d/mysqld
# chmod +x /etc/init.d/mysqld

    启动数据库

    # service mysqld start
Starting MySQL....                                         [  OK  ]

    查看集群信息

    # ndb_mgm -e show
Cluster Configuration
---------------------
[ndbd(NDB)]    2 node(s)
id=2    @192.168.1.5  (mysql-5.5.27 ndb-7.2.8, Nodegroup: 0, Master)
id=3    @192.168.1.6  (mysql-5.5.27 ndb-7.2.8, Nodegroup: 0)

[ndb_mgmd(MGM)]    1 node(s)
id=1    @192.168.1.10  (mysql-5.5.27 ndb-7.2.8)

[mysqld(API)]    2 node(s)
id=4    @192.168.1.2  (mysql-5.5.27 ndb-7.2.8)
id=5    @192.168.1.11  (mysql-5.5.27 ndb-7.2.8)

    可以看到当前所有节点均已启动

    集群管理

    查看集群内存使用情况

    ndb_mgm> all report memoryusage;

    关闭集群顺序：SQL节点->数据节点->管理节点 或者使用# ./ndb_mgm -e shutdown命令关闭集群

    启动集群顺序: 管理节点->数据节点->SQL节点

    验证测试

    通过SQL节点（192.168.1.2记为SQL1/192.168.1.11记为SQL2）连入MySQL数据库

    # ./mysql
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| ndbinfo            |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.04 sec)

    修改密码

    
mysql> set password=password('root');

    数据同步测试

    连接SQL1，创建数据库dufu，创建成功

    连接SQL2，查看到创建成功的数据库dufu

    mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| dufu               |
| mysql              |
| ndbinfo            |
| performance_schema |
| test               |
+--------------------+
6 rows in set (0.00 sec)

    SQL1创建表，插入数据

    mysql> use dufu;
Database changed

mysql> create table t(i int,name varchar(10)) engine=ndbcluster;
Query OK, 0 rows affected (0.22 sec)

mysql> insert into t values(1,'this_sql1');
Query OK, 1 row affected (0.01 sec)

    SQL2查询

    mysql> select * from t;
+------+-----------+
| i    | name      |
+------+-----------+
|    1 | this_sql1 |
+------+-----------+
1 row in set (0.01 sec)

    通过以上测试，SQL集群数据是同步的。

    可用性测试

    关掉数据节点1或SQL节点1，看集群是否能够正常工作
    经过测试，关闭冗余节点不会对MySQL集群造成影响，失败节点重新启动后会再次加入加群。可以通过管理节点查看到各个节点的状态

    遇到的问题

    以上测试只是针对MySQLCluster简单的验证测试，后面我们组织了一次更大压力的测试，400～1000并发，每个连接执行100次循环，每个查询约有5000条数据，同时执行进行的读操作在40000～100000之间，出现了很多问题。

    首先是数据节点启动问题：

    Ndb kernel thread 4 is stuck in: Job Handling elapsed=100 Watchdog: User time: 82 System time: 667 
Ndb kernel thread 4 is stuck in: Job Handling elapsed=200
Watchdog: User time: 82 System time: 668 
Ndb kernel thread 4 is stuck in: Job Handling elapsed=300 Watchdog: User time: 82 System time: 669 
Ndb kernel thread 4 is stuck in: Job Handling elapsed=400 Watchdog: User time: 82 System time: 670

    内存不够或者datamemory、indexmemory设置过大、maxnooflocalscans设置过大导致，通过增大服务器硬件资源以及调大内存设置大小解决。

    并发加大后出现：

    
too many connections

    SQL节点的max_connections默认参数为150，调整该参数大小为1000解决。

    并发加大后出现：

    ERROR 1205 (HY000) at line 10208: Lock wait timeout exceeded; try restarting transaction

    TransactionDeadlockDetectionTimeout默认只有1200，调整该参数为10000后解决。调整完后需要重启集群

    并发加到1000后，错误率急剧上升，出现：

    got temporary error 245 'too many active scans' from ndbcluster

    NaxNoOfConcurrentScans参数太小，默认最大为500.调整为500后，还是继续报错-_-！，可能与MaxNoOfLocalScans参数有关。

    更新操作，并发加到1000后，出现：

    ERROR 1297 (HY000): Got temporary error 410 'REDO log files overloaded (decrease TimeBetweenLocalCheckpoints or increase NoOfFragmentLogFiles)' from NDBCLUSTER

    改错表示redo日志可能太小，需要调整redo日志大小，设置TimeBetweenLocalCheckpoints=30
    NoOfFragmentLogFiles=128（还未试验）

    mysql集群
    bestvivi
    1.1k 声望60 粉丝
    下一篇 »
    MySQL复制介绍及搭建

    引用和评论

    推荐阅读
    头像
    MySQL主主复制+LVS+Keepalived实现MySQL高可用性

    bestvivi赞 15阅读 11.8k

    头像
    在Java程序中监听mysql的binlog

    huan1993赞 11阅读 2.1k

    头像
    Mysql数据库sql优化案例

    杜若赞 5阅读 2.2k

    头像
    MySQL 回收表碎片实践教程

    MySQL技术赞 2阅读 358

    头像
    高效工程师的七个习惯

    Bytebase赞 3阅读 674

    头像
    从零开始 Elasticsearh Docker 单机集群

    zzMeow赞 1阅读 2.7k

    头像
    Mysql梳理1

    cashew赞 1阅读 2.1k

    0 条评论
    得票最新