MySQL 亿级数据迁移之迁移策略

步骤

子项目提供数据同步接口，可根据情况选择同步的线程数以及批量插入的数据量。
具体步骤：

1. 全量迁移：搬迁当前库中所有的历史数据（新项目提供数据迁移的接口，可批量迁移数据，该过程会搬掉库中大部分数据）
2. 增量迁移：记录全量迁移开始的时间，搬迁全量迁移过程中变更了的数据
3. 数据比对：通过接口比对 Cassandra 和 MySQL 中的数据，最终数据一致性达到一定99.99%以上
4. 开双写：通过数据比对确保全量迁移和增量迁移没问题以后，打开双写。如果双写有问题，数据比对还可以发现双写中的问题。
5. 切 Cassandra 读：确保双写没问题以后，关闭MySQL写。

测试结果

Spring-data-cassandra

• 5个线程，每个线程150条数据，一个小时，808万条数据，13.4万/分钟
• 5个线程，每个线程500条数据，15分钟，274万条数据，22.8万/分钟
  使用 Spring-data-cassandra 连接驱动时速度过慢，检查后发现，Spring-data-cassandra 的API中，批量插入操作，内部实现是一条一条插入的

Cassandra-driver

在本机运行，修改 Cassandra 并发读和并发写的线程数为32，每次批量数据大小为5000kb,读写超时提醒为500000毫秒，测试结果如下：

• 使用一个节点

    10个线程，MySQL每次查询5000条，每次插入1000条，三分钟，137万 45.6万/分  1000万条数据 21.9分钟
    10个线程，MySQL每次查询5000条，每次插入2000条，两分钟，76万 38万/分     1000万条数据 26.3分钟
    6个线程，MySQL每次查询5000条，每次插入2000条，二分钟，99万 50万/分      1000万条数据 20分钟
    6个线程，MySQL每次查询5000条，每次插入5000条，一分钟，52万 52万/分      1000万条数据 19.2分钟
    5个线程，MySQL每次查询5000条，每次插入1000条，7分钟，400万 57万/分     1000万条数据 17.5分钟
    5个线程，MySQL每次查询5000条，每次插入2000条，一分钟，56万 56万/分     1000万条数据 17.8分钟
    5个线程，MySQL每次查询5000条，每次插入5000条，一分钟，36万 36万/分     1000万条数据 27.7分钟

• 增加到两个节点：

    5个线程，MySQL每次查询5000条，每次插入5000条，十分钟，790万 79万/分   1000万条数据12.6分钟
    5个线程，MySQL每次查询10000条，每次插入5000条，十分钟，632万 63.2万/分 1000万条数据15.8分钟
    10个线程，MySQL每次查询5000条，每次插入5000条，十分钟，650万 65万/分   1000万条数据15.3分钟
  

• 关闭commitLog，两个节点

   5个线程，MySQL每次查询5000条，每次插入5000条，十分钟，760万 76万/分    1000万条数据13.1分钟
  

• 关闭commitLog，一个节点

    5个线程，MySQL每次查询5000条，每次插入5000条，十分钟，690万 69万/分 1000万条数据14.5分钟
    5个线程，MySQL每次查询5000条，每次插入5000条，2.5分钟，110万，44万/分 1000万条数据22.7分钟
    5个线程，MySQL每次查询1000条，每次插入5000条，3分钟，133万， 44万/分 1000万条数据22.7分钟
    5个线程，MySQL每次查询10000条，每次插入5000条，3分钟，84万， 28万/分 1000万条数据35.7分钟
    10个线程，MySQL每次查询10000条，每次插入5000条，2分钟，87万， 43.5万/分 1000万条数据22.9分钟
    

• 服务器上运行，三个节点

    5个线程，MySQL每次查询10000条，每次插入5000条， 80万/分钟 1000万条数据12.5分钟
    5个线程，MySQL每次查询20000条，每次插入5000条， 85万/分钟 1000万条数据11.8分钟
    5个线程，MySQL每次查询10000条，每次插入10000条， 80万/分钟 1000万条数据12.5分钟
    10个线程，MySQL每次查询10000条，每次插入5000条， 76万/分钟 1000万条数据13.1分钟
    

Scylla-driver

使用Scylla-driver驱动，速度与Cassandra-driver基本一致

## 总结

1. 我们一共在三台服务器上安装 Cassandra,在 Cassandra 参数配置完全一致的情况下,86服务器上数据迁移速度在45万/分钟～60万/分钟，120服务器在70万/分钟～80万/分钟，106服务器上在80万/分钟～85万/分钟。

2. 在数据迁移过程中，我们尝试了修改 Cassandra 的并发线程，读写超时，以及JVM参数等等，进行逐个测试，发现在迁移数据的时候，服务器磁盘在进行频繁IO，则最终瓶颈在于Cassandra 将数据从 memtable 中 flush 到磁盘的一个 SSTable 中。