Redis Cluster数据迁移单实例方案实战

• 目录

  • 前言
  • 安装
  • 配置文件更改
  • 开始迁移

前言

Redis集群同步迁移的方法有很多，比如redis-port,redis-migrate-tool等工具，本文主要讲CentOS通过redis-migrate-tool从集群迁移到单实例。

redis-migrate-tool 是维品会开源的一款redis数据迁移工具，基于redis复制，快速，稳定，github地址为：https://github.com/vipshop/re... 。

迁移工具的来源（source）可以是：单独的redis实例，twemproxy集群，redis cluster，rdb文件，aof文件。
迁移工具的目标（target）可以是：单独的redis实例，twemproxy集群，redis cluster，rdb文件。

目前测试的Redis版本为3.0.0，如果是4.0.x版本可能会报错

[2019-07-31 16:57:50.393] rmt_redis.c:1517 MASTER <-> SLAVE sync: receiving 4860 bytes from master[172.16.255.34:7001@17001]
[2019-07-31 16:57:50.393] rmt_redis.c:1623 MASTER <-> SLAVE sync: RDB data for node[172.16.255.34:7001@17001] is received, used: 0 s
[2019-07-31 16:57:50.393] rmt_redis.c:1643 rdb file node172.16.255.34:[e-mail] write complete
[2019-07-31 16:57:50.393] rmt_redis.c:6446 ERROR: Can't handle RDB format version -1549717496
[2019-07-31 16:57:50.393] rmt_redis.c:6715 ERROR: Rdb file for node[172.16.255.34:7001@17001] parsed failed

如上Can't handle RDB format version -1549717496为版本兼容问题，各个版本的.rdb是不兼容的，rmt工具似乎还不支持4.0.X。

可考虑降版本，如果开启了appendonly yes，可通过.aof文件迁移。

当前集群数据存在

172.16.255.34:7000 172.16.255.34:7001
172.16.255.35:7002 172.16.255.35:7003
172.16.255.36:7004 172.16.255.36:7005

需要将集群的数据迁移到单实例的172.16.255.34:6379

安装

依赖：

$ yum -y install automake libtool autoconf bzip2 git

安装redis-migrate-tool：

$ git clone https://github.com/vipshop/redis-migrate-tool
$ cd redis-migrate-tool
$ autoreconf -fvi
$ ./configure
$ make

查看命令帮助可检查是否安装成功

$ src/redis-migrate-tool -h

如果出现

$ src/redis-migrate-tool -h
This is redis-migrate-tool-0.1.0

Usage: redis-migrate-tool [-?hVdIn] [-v verbosity level] [-o output file]
                  [-c conf file] [-C command]
                  [-f source address] [-t target address]
                  [-p pid file] [-m mbuf size] [-r target role]
                  [-T thread number] [-b buffer size]
....

安装成功。

更多介绍查看redis-migrate-tool使用详解

配置文件更改

redis-migrate-tool默认的配置文件为rmt.conf，更改如下

$ vi rmt.conf

[source]
type: redis cluster
servers :
-172.16.255.34:7000

[target]
type: single
servers:
-172.16.255.34:6379

[common]
listen: 0.0.0.0:8888

Esc :wq 保存退出。

source为集群，只需要配置一个servers就可以。

开始迁移

$ src/redis-migrate-tool -o log -d

开始在后台运行迁移，查看运行日志 tail -200 log。

....
[2019-08-01 11:59:19.919] rmt_redis.c:6601 Rdb file for node[172.16.255.34:7000] parsed finished, use: 0 s.
[2019-08-01 11:59:19.919] rmt_redis.c:6709 All nodes' rdb file parsed finished for this write thread(0).

可看见All nodes' rdb file parsed finished则表示运行完成。

运行数据检查

$ src/redis-migrate-tool -o log -d -C redis_check

默认抽样1000个数据检查

Check job is running...

Checked keys: 1000
Inconsistent value keys: 0
Inconsistent expire keys : 0
Other check error keys: 0
Checked OK keys: 1000

All keys checked OK!
Check job finished, used 1.041s

迁移成功~

如果中途迁移失败，使用redis-cli -h 172.16.255.34，清除keys

172.16.255.34:6379> flushall

keys *检查是否清空，以免list等数据迁移时会增量，redis_check会检查一部分数据不一致，你会发现都是显示list

[2019-07-31 17:00:27.185] rmt_check.c:848 ERROR: key checked failed: check key's value error, value is inconsistent. key(len:15, type:list): 509A4C6A4WAY_46

Java使用JedisCluster连接集群的改成JedisPool

@Override
public void afterPropertiesSet() throws Exception {
    if (mJedis == null) {
        mJedisPool = new JedisPool(genericObjectPoolConfig, hostName, Integer.valueOf(port), timeout);
        mJedis = mJedisPool.getResource();
    }
}

@Autowired
private Jedis jedis;

原文链接

推荐阅读

• redis-migrate-tool使用详解