Mycat的实践二:全局序列号

 阅读约 15 分钟

上一节回顾

如果你还初识mycat,你可以阅读

Mycat的实践一:初始Mycat

遇到的问题

通过上一节的学习,我们遇到了一个insert无法插入的问题

我们思考一个问题,我们上一节在mysql上创建了3个分库,每个分库下每一个对应的表
CREATE TABLE `travelrecord` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(22) NOT NULL DEFAULT '',
  `time` int(10) unsigned NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

这里的id是自增长,如果是在mycat的分布式下,肯定面临这一个id序列的增长问题。

如果我们各自在mysql端的三个库分别插入不同的数据,如:
use mycat-db1;
insert into travelrecord(name, time) values('test1', 0);
use mycat-db2;
insert into travelrecord(name, time) values('test1', 0);
use mycat-db3;
insert into travelrecord(name, time) values('test1', 0);

这里面临的每一个库下增长各自分离,所以可能不同db之间下的id可能会重复

mycat肯定要解决不同datahost下的datanode的结合后逻辑表下面的序列重复问题,所以插入就遇到了问题

接下去我们通过mycat的全局序列号解决插入的问题

Mycat 全局序列号

简介

在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一。为此, MyCat 提供了全局sequence,并且提供了包含本地配置和数据库配置等多种实现方式

全局序列的三种方式

1. 本地文件
缺点:在mycat重启后,配置文件中sequence会恢复到初始值,造成下次操作序列重复
优点:本地加载,读取速度较快

2. 数据库
优点:在mycat重启后,sequence值不会被初始化
缺点:如果存取sequence的数据库挂了,会遇到单点故障

3. 时间
优点:不存在上面两种方案因为mycat的重启导致id重复的现象
缺点:数据类型太长,建议采用bigint(最大取值18446744073709551615)

4. zookeeper
建议采用,zookeeper自身解决单点和序列问题

本地方式

mycat conf/server.xml配置调整

<property name="sequnceHandlerType">0</property>

查看配置是否生效

# 重启mycat
# 先停止 startup_nowrap.bat
bin/startup_nowrap.bat

我这边是通过navicat连接(command)
# mysql -uroot -p123456 -p 9066

show @@sysparam;

# output: 输出了本地文件方式,表示配置成功
...
| sequnceHandlerType            | 本地文件方式  | 指定使用Mycat全局序列的类型。|
...

插入数据

# 第一次尝试
insert into travelrecord(name) values('20180802 13:32');
# output: 提示错误了,提示了什么ID列没有提供
[SQL]insert into travelrecord(name) values('20180802 13:32');
[Err] 1064 - bad insert sql (sharding column:ID not provided,INSERT INTO travelrecord (name)
VALUES ('20180802 13:32')

# 第二次尝试
insert into travelrecord(id, name) values(next value for MYCATSEQ_GLOBAL, '20180802 13:32');
# output: 成功
受影响的行: 1
时间: 0.004s

不过这样写起来很麻烦,而且会改变现有业务里的代码,因为我们大部分之前的单机业务的代码是不会写id的,都是利用mysql的主键自增长

next value for MYCATSEQ_XXX 说明

是mycat用于分布式序列生成的的一种方式,在mycat里这个根据sequnceHandlerType的三种方式对应到不同的三个配置文件分别是:
sequence_conf.properties -> 本地
sequence_db_conf.properties -> mysql
sequence_time_conf.properties -> time
sequence_distributed_conf.properties -> zookeeper等分布式支持

上个测试我们使用了next value for MYCATSEQ_GLOBAL
打开sequence_conf.properties查看

COMPANY.MAXID=2000
GLOBAL.MAXID=20000
COMPANY.HISIDS=
CUSTOMER.MAXID=2000
HOTNEWS.CURID=1000
ORDER.MINID=1001
CUSTOMER.HISIDS=
HOTNEWS.MINID=1001
TRAVELRECORD.MAXID=2000000
GLOBAL.CURID=10003
ORDER.MAXID=2000
TRAVELRECORD.HISIDS=
COMPANY.CURID=1000
CUSTOMER.CURID=1000
COMPANY.MINID=1001
GLOBAL.MINID=10001
HOTNEWS.MAXID=2000
CUSTOMER.MINID=1001
TRAVELRECORD.CURID=506
GLOBAL.HISIDS=
HOTNEWS.HISIDS=
ORDER.CURID=1000
TRAVELRECORD.MINID=5001
ORDER.HISIDS=

# 查看我们之前插入的数据:
select * from travelrecord;
...
| 10002 | 20180802 13:32 |    0 |
...
我们看到id插入是10002,自增长来自GLOBAL.CURID

自增长式插入

# schema.xml里的配置增加2个属性, mycat会根据表自动获取到sequence配置里的属性
# <table name="travelrecord" dataNode="dn1,dn2,dn3" primaryKey="id" autoIncrement="true" rule="auto-sharding-long" />
# mycat重启

insert into travelrecord(name) values('20180802 13:49');
# output: 成功
受影响的行: 1
时间: 0.004s

# 查看我们之前插入的数据:
select * from travelrecord;
...
|   507 | 20180802 13:49 |    0 |
...
我们看到id插入是507,自增长来自TRAVELRECORD.CURID

数据库方式

mycat conf/server.xml配置调整

<property name="sequnceHandlerType">1</property>

查看配置是否生效

同上不重复了

| sequnceHandlerType            | 数据库方式    | 指定使用Mycat全局序列的类型。|

sql

# 序列表
CREATE TABLE `mycat_sequence` (
  `name` varchar(50) NOT NULL,
  `current_value` int(11) NOT NULL,
  `increment` int(11) NOT NULL DEFAULT '1',
  PRIMARY KEY (`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

# mycat_seq_currval函数
CREATE FUNCTION `mycat_seq_currval`(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf8 DETERMINISTIC
BEGIN
DECLARE retval VARCHAR (64);

SET retval = "-999999999,null";

SELECT
    CONCAT(
        CAST(current_value AS CHAR),
        ",",
        CAST(increment AS CHAR)
    ) INTO retval
FROM
    MYCAT_SEQUENCE
WHERE
    NAME = seq_name;

RETURN retval;
END

# mycat_seq_nextval函数
CREATE FUNCTION `mycat_seq_nextval`(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf8 DETERMINISTIC
BEGIN
    UPDATE MYCAT_SEQUENCE
        SET current_value = current_value + increment
    WHERE
        NAME = seq_name;

RETURN mycat_seq_currval (seq_name);
END

# mycat_seq_setval函数
CREATE FUNCTION `mycat_seq_setval`(
    seq_name VARCHAR (50), VALUE INTEGER
) RETURNS varchar(64) CHARSET utf8 DETERMINISTIC
BEGIN
    UPDATE MYCAT_SEQUENCE
        SET current_value = VALUE
    WHERE
        NAME = seq_name;
RETURN mycat_seq_currval (seq_name);
END

# test
select mycat_seq_currval('TRAVELRECORD');
# output: 800,1

插入一条记录

INSERT INTO `mycat-db1`.`mycat_sequence` (`name`, `current_value`, `increment`) VALUES ('TRAVELRECORD', '800', '1');

插入数据测试

insert into travelrecord(name) values('20180802 14:18');
# output: 成功
受影响的行: 1
时间: 0.004s

# 查看我们之前插入的数据:
select * from travelrecord;
...
|   801 | 20180802 14:18 |    0 |
...
我们看到id插入是801,自增长来自数据表,查看数据库表, 并自动修改表的当前记录+1(我们的increment=1)

# 切换到真实的mycat-db1
select * from mycat_sequence;
| TRAVELRECORD |           801 |         1 |

时间方式

mycat conf/server.xml配置调整

<property name="sequnceHandlerType">2</property>

查看配置是否生效

同上不重复了

| sequnceHandlerType            | 本地文件方式  | 指定使用Mycat全局序列的类型。 |

# 这里应该是mycat的显示bug,配置成了时间戳序列方式了,显示的还是本地文件方式

插入等测试

select next value for MYCATSEQ_GLOBAL;
# 1024911601620357120

select next value for MYCATSEQ_GLOBAL;
# 1024911649208930304

insert into travelrecord(name) values('20180808 14:56')
#output: 
[Err] 1064 - can't find any valid datanode :TRAVELRECORD -> ID -> 1024911922555916288
# 上面的出错,是因为我们的表插入的路由方式是rule="auto-sharding-long",找不到这么多的序列对应的datanode
# 调整 rule="mod-long",并修改三个真实分库的id未bigint(20) 并重启mycat


insert into travelrecord(name) values('20180808 15:01');
# 受影响的行: 1
# 时间: 0.048s


select * from travelrecord;
...
| 1024910441362624512 | 20180802 14:51 |    0 |
...

分布式方式(zookeeper)

mycat conf/server.xml配置调整

<property name="sequnceHandlerType">3</property>

查看配置是否生效

同上不重复了

| sequnceHandlerType            | 本地文件方式  | 指定使用Mycat全局序列的类型。 |

# 这里应该是mycat的显示bug,配置成了时间戳序列方式了,显示的还是本地文件方式

zookpeeper部分

安装参考百度

myid.properties:

loadZk=true
zkURL=127.0.0.1:2181
clusterId=mycat-cluster-1
myid=mycat_fz_01
clusterNodes=mycat_fz_01,mycat_fz_02,mycat_fz_04
#server  booster  ;   booster install on db same server,will reset all minCon to 1
type=server
boosterDataHosts=localhost1

初始化mycat zk

bin/init_zk_data.cmd

插入等测试

select next value for MYCATSEQ_GLOBAL;
# 5328679401562341409
select next value for MYCATSEQ_GLOBAL;
# 5328680350783668258

insert into travelrecord(name) values('20180808 15:58');
# 受影响的行: 1
# 时间: 0.048s


select * from travelrecord;
...
| 5328681411405709347 | 20180808 15:58 |    0 |
...

总结

我们在mycat分布式的环境下,建议全局序列id的顺序: zookeeper > mysql > timestamp(SnowFlake) > localfile
阅读 1.8k更新于 2018-08-02
推荐阅读
目录