使用Sharding-JDBC进行分库分表，读写分离

头像
WillLiaowh
    阅读 7 分钟
    1

    分库分表

    为什么要分库分表？

    数据库的数据量是不可控的，随着时间和业务发展，造成表里面数据越来越多，如果再去对数据库表curd操作时候，造成性能问题。分库分表为了解决由于数据量过大而造成数据库性能降低问题。

    分库分表的方式

    1.垂直切分

    • 垂直分表

    对表中的字段进行拆分，把表中一部分字段放到一张表中，把另一部分字段数据放到另外一张表职工

    • 垂直分库

    把数据库按照业务进行划分，每个库只有一张表，如商品库中的商品表，订单库中的订单表，即专库专表

    2.水平切分

    • 水平分表

    相当于在一个数据库复制其中表，除表名不同外，新表结构与原来的一样

    • 水平分库

    相当于复制数据库，除库名不同外，数据库与原来的一样

    Sharding-JDBC进行分库分表

    Sharding-JDBC仅简化对分库分表之后数据相关操作
    1.垂直分库
    多个数据库情况下，对表进行操作，只会影响对应的专库

    #========================垂直分库===================
#spring.shardingsphere.datasource.names=ds1,ds2,ds0
#
#spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds1.url=jdbc:mysql://localhost:3306/edu_db_1
#spring.shardingsphere.datasource.ds1.username=root
#spring.shardingsphere.datasource.ds1.password=root
#
#spring.shardingsphere.datasource.ds2.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds2.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds2.url=jdbc:mysql://localhost:3306/edu_db_2
#spring.shardingsphere.datasource.ds2.username=root
#spring.shardingsphere.datasource.ds2.password=root
#
#spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds0.url=jdbc:mysql://localhost:3306/user_db
#spring.shardingsphere.datasource.ds0.username=root
#spring.shardingsphere.datasource.ds0.password=root
#
## 配置user_db数据库里面t_user 专库专表
#spring.shardingsphere.sharding.tables.t_user.actual-data-nodes=ds$->{0}.t_user
#
## 指定course表里面主键cid 生成策略  SNOWFLAKE
#spring.shardingsphere.sharding.tables.t_user.key-generator.column=user_id
#spring.shardingsphere.sharding.tables.t_user.key-generator.type=SNOWFLAKE
#========================垂直分库===================

    2.水平分表
    (1)创建数据库 course_db
    (2)在数据库创建两张表 course_1 和 course_2
    (3)约定规则:如果添加课程cid 是偶数把数据添加 course_1，如果奇数添加到 course_2
    主要配置如下：

    #========================水平分表===================
spring.shardingsphere.datasource.names=ds0
spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://localhost:3306/course_db
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=root
#course代表逻辑表名
#指定course表的分布情况，配置表在那个数据库里面，表名称都是什么
spring.shardingsphere.sharding.tables.course.actual-data-nodes=ds0.course_$->{0..1}

#指定分片策略 约定cid值偶数添加到course_1,奇数添加到course_2
spring.shardingsphere.sharding.tables.course.table-strategy.inline.sharding-column=cid
spring.shardingsphere.sharding.tables.course.table-strategy.inline.algorithm-expression=course_$->{cid % 2 + 1}
#========================水平分表===================

    3.水平分库
    (1)创建两个数据库edu_db_1，edu_db_2
    (2)每个数据库创建两张表 course_1 和 course_2
    (3)
    a:分库规则:userid为偶数，数据添加到edu_db_1数据库，奇数数据添加到edu_db_2数据库。
    b:分表规则:如果添加课程cid 是偶数把数据添加 course_1，如果奇数添加到 course_2
    主要配置如下：

    #========================水平分库===================
#spring.shardingsphere.datasource.names=ds1,ds2
#
#spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds1.url=jdbc:mysql://localhost:3306/edu_db_1
#spring.shardingsphere.datasource.ds1.username=root
#spring.shardingsphere.datasource.ds1.password=root
#
#spring.shardingsphere.datasource.ds2.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds2.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds2.url=jdbc:mysql://localhost:3306/edu_db_2
#spring.shardingsphere.datasource.ds2.username=root
#spring.shardingsphere.datasource.ds2.password=root
#
#指定数据库分布情况，数据库里面表分布情况
## d1  d2    course_1 course_2
#spring.shardingsphere.sharding.tables.course.actual-data-nodes=ds$->{1..2}.course_$->{1..2}

##指定分片策略 约定cid值偶数添加到course_1,奇数添加到course_2
#spring.shardingsphere.sharding.tables.course.table-strategy.inline.sharding-column=cid
#spring.shardingsphere.sharding.tables.course.table-strategy.inline.algorithm-expression=course_$->{cid % 2 + 1}
#指定分库策略 约定user_id值偶数添加到edu_db_1,奇数添加到edu_db_2
#spring.shardingsphere.sharding.tables.course.database-strategy.inline.sharding-column=user_id
#spring.shardingsphere.sharding.tables.course.database-strategy.inline.algorithm-expression=ds$->{user_id % 2 + 1}
#========================水平分库===================

    4.公共表
    公共表：
    (1)存储固定数据的表，表数据很少发生变化，查询时候经常进行关联
    (2)在每个数据库中创建出相同结构公共表
    在多个数据库都创建相同结构公共表，对某个库的公共表进行操作，会广播到其他所有公共表

    ## 配置公共表
#spring.shardingsphere.sharding.broadcast-tables=t_udict
#spring.shardingsphere.sharding.tables.t_udict.key-generator.column=dictid
#spring.shardingsphere.sharding.tables.t_udict.key-generator.type=SNOWFLAKE

    读写分离

    为什么要读写分离？

    为了确保数据库产品的稳定性，很多数据库拥有双机热备功能。也就是，第一台数据库服务器，是对外提供增删改业务的生产服务器；第二台数据库服务器，主要进行读的操作。

    读写分离原理

    image.png
    读写分离基于主从复制，Sharding-JDBC 通过sql语句语义分析，实现读写分离过程，不会做数据同步

    准备工作：

    因为我原来已经有一个MySql服务在运行，为了防止搞崩，用这个方法
    一台linux主机启动多个MySQL数据库
    /usr/local/mysql/data/3307/my.cnf 主库配置：
    image.png
    /usr/local/mysql/data/3308/my.cnf 从库配置：
    image.png
    新增了3307 3308端口两个主从MySql服务：
    image.png

    新增账号：

    1.切换至主库bin目录，登录主库
    2.授权主备复制专用账号
    GRANT REPLICATION SLAVE ON . TO 'root'@'192.168.1.80' IDENTIFIED BY 'root';
    3.刷新权限
    FLUSH PRIVILEGES;
    4.确认位点 记录下文件名以及位点
    show master status;
    image.png

    设置主从复制

    1.切换至从库bin目录，登录从库
    2.先停止同步
    STOP SLAVE;
    3.修改从库指向到主库，使用上一步记录的文件名以及位点
    CHANGE MASTER TO
    master_host = '192.168.1.80',
    master_user = 'root',
    master_password = 'root',
    master_log_file = 'mysql‐bin.000003',
    master_log_pos = 666;
    4.启动同步
    START SLAVE;
    5.查看从库状态Slave_IO_Runing和Slave_SQL_Runing都为Yes说明同步成功，如果不为Yes，请检查 error_log，然后
    排查相关异常。
    show slave status;
    image.png

    Sharding-JDBC 读写分离配置
    #========================读写分离====================
spring.shardingsphere.datasource.names=m1,s1

spring.shardingsphere.datasource.m1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.m1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.m1.url=jdbc:mysql://192.168.1.80:3307/user_db
spring.shardingsphere.datasource.m1.username=root
spring.shardingsphere.datasource.m1.password=root

spring.shardingsphere.datasource.s1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.s1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.s1.url=jdbc:mysql://192.168.1.80:3308/user_db
spring.shardingsphere.datasource.s1.username=root
spring.shardingsphere.datasource.s1.password=root

spring.shardingsphere.sharding.master‐slave‐rules.ds0.master-data-source-name=m1
spring.shardingsphere.sharding.master‐slave‐rules.ds0.slave-data-source-names=s1

#========================读写分离====================

    完整github地址：
    https://github.com/WillLiaowh/ShardingJdbc-Demo

    参考：
    https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/sharding-jdbc/configuration/config-spring-boot/

    https://www.bilibili.com/video/BV1LK411s7RX?p=1

    javaspringbootmysql分库分表读写分离
    WillLiaowh
    71 声望8 粉丝

    世界上最伟大的力量是坚持。

    « 上一篇
    SpringCloud组件简述
    下一篇 »
    Hadoop完全分布式集群搭建

    引用和评论

    推荐阅读
    头像
    冲突还在用git merge吗？互联网公司都用git rebase

    WillLiaowh阅读 1.5k

    头像
    Bitmap 和 布隆过滤器傻傻分不清？你这不应该啊

    程序员小富赞 10阅读 4.9k评论 1

    头像
    Jerry和您聊聊Chrome开发者工具

    注销赞 9阅读 4.9k评论 3

    头像
    Spring 实现 3 种异步流式接口，干掉接口超时烦恼

    程序员小富赞 6阅读 2.5k

    头像
    💢线上高延迟请求排查

    crossoverJie赞 6阅读 4.1k评论 5

    头像
    Spring boot连接Minio实现文件的上传以及下载

    zZ_jie赞 2阅读 4.4k

    头像
    这些年

    注销赞 2阅读 4.1k

    0 条评论
    得票最新