Spring Boot demo系列（十一）：ShardingSphereJDBC + MyBatisPlus 分库分表

头像
氷泠
    阅读 8 分钟
    English
    1

    1 概述

    本文主要讲述了如何使用ShardingSphereJDBC和MyBatisPlus进行分库分表，具体步骤包括：

    • 准备数据库环境
    • 准备依赖
    • 编写配置文件
    • 测试

    2 环境

    • MyBatis Plus 3.5.1
    • MyBatis Plus Generator 3.5.2
    • Druid 1.2.10
    • ShardingSphereJDBC 5.1.1
    • MySQL 8.0.29（Docker）
    • yitter-idgenerator 1.0.6
    • Freemarker 2.3.31

    3 准备数据库环境

    准备好两个库：

    • test0
    • test1

    在两个库中分别建立三个字段一样的表：

    • user0
    • user1
    • user2

    在这里插入图片描述

    字段如下：

    在这里插入图片描述

    这样就准备了两个库以及其中的六个表了。

    4 新建项目

    新建Spring Boot项目并引入如下依赖：

    • Druid
    • MyBatis Plus starter
    • MyBaits Plus Generator
    • Freemarker
    • ShardingSphere
    • Yitter（一个雪花id生成器）

    Gradle如下：

    implementation 'com.alibaba:druid:1.2.10'
implementation 'com.baomidou:mybatis-plus-boot-starter:3.5.1'
implementation 'org.freemarker:freemarker:2.3.31'
implementation 'com.baomidou:mybatis-plus-generator:3.5.2'
implementation 'org.apache.shardingsphere:shardingsphere-jdbc-core-spring-boot-starter:5.1.1'
implementation 'com.github.yitter:yitter-idgenerator:1.0.6'

    Maven如下：

    <dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>mybatis-plus-boot-starter</artifactId>
    <version>3.5.1</version>
</dependency>
<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>mybatis-plus-generator</artifactId>
    <version>3.5.2</version>
</dependency>
<dependency>
    <groupId>org.freemarker</groupId>
    <artifactId>freemarker</artifactId>
    <version>2.3.31</version>
</dependency>
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.2.10</version>
</dependency>
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>5.1.1</version>
</dependency>
<dependency>
    <groupId>com.github.yitter</groupId>
    <artifactId>yitter-idgenerator</artifactId>
    <version>1.0.6</version>
</dependency>

    5 配置文件

    配置文件可以参考ShardingSphere文档，这里给出一个示例配置：

    spring:
  shardingsphere:
    mode:
      type: Memory                                         # 内存模式，元数据保存在当前进程中
    datasource:
      names: test0,test1                                   # 数据源名称，这里有两个
      test0:                                               # 跟上面的数据源对应
        type: com.alibaba.druid.pool.DruidDataSource       # 连接池
        url: jdbc:mysql://127.0.0.1:3306/test0             # 连接url
        username: root
        password: 123456
      test1:                                               # 跟上面的数据源对应
        type: com.alibaba.druid.pool.DruidDataSource
        url: jdbc:mysql://127.0.0.1:3306/test1
        username: root
        password: 123456

    rules:
      sharding:
        tables:
          user:                                            # 这个可以随便取，问题不大
            actual-data-nodes: test$->{0..1}.user$->{0..2} # 实际节点名称，格式为 库名$->{0..n1}.表名$->{0..n2}
                                                           # 其中n1、n2分别为库数量-1和表数量-1
                                                           # 也可以使用${0..n1}的形式，但是会与Spring属性文件占位符冲突
                                                           # 所以使用$->{0..n1}的形式

            database-strategy:                             # 分库策略
              standard:                                    # 标准分库策略
                sharding-column: age                       # 分库列名
                sharding-algorithm-name: age-mod           # 分库算法名字
            table-strategy:                                # 分表策略
              standard:                                    # 标准分表策略
                sharding-column: id                        # 分表列名
                sharding-algorithm-name: id-mod            # 分表算法名字

        sharding-algorithms:                               # 配置分库和分表的算法
          age-mod:                                         # 分库算法名字
            type: MOD                                      # 算法类型为取模
            props:                                         # 算法配置的键名，所有算法配置都需要在props下
              sharding-count: 2                            # 分片数量
          id-mod:                                          # 分表算法名字
            type: MOD                                      # 算法类型为取模
            props:                                         # 算法配置的键名，所有算法配置都需要在props下
              sharding-count: 3                            # 分片数量
    props:
      sql-show: true                                       # 打印SQL

    大部分的配置说明在读写分离这篇文章有提到，此处说明一些不同的配置。

    5.1 数据节点配置

    spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes，其中<table-name>可以任意取值，能明确意义即可，比如这里取值user。

    actual-data-nodes后面是具体的节点名字，节点名字采用库名.表名的形式，多个表用,分隔，支持行内表达式，也就是例子中test$->{0..1}.user$->{0..2}的形式。

    test$->{0..1}.user$->{0..2}表示数据库包含test0、test1，而表包含user0、user1、user2。文档还提到可以使用${}而不是$->{}，但是前者与Spring配置文件占位符冲突，因此使用$->{}。

    5.2 分库分表策略配置

    分别为：

    • spring.shardingsphere.rules.sharding.tables.<table-name>.database-strategy
    • spring.shardingsphere.rules.sharding.tables.<table-name>.table-strategy

    两者的配置是类似的，以database-strategy为例，文档提到需要配置如下属性：

    • sharding-columns：分片列的名称，对于分库，表示的是按照哪一列进行分库，对于分表，表示的是按照哪一列进行分表
    • sharding-algorithm-name：分片算法的名称，具体的分片算法配置在sharding-algorithms中。

    5.3 分片算法配置

    spring.shardingsphere.rules.sharding.sharding-algorithms.<sharding-algorithm-name>，其中<sharding-algorithm-name>是spring.shardingsphere.rules.sharding.tables.<table-name>.database-strategy.sharding-algorithm-name/spring.shardingsphere.rules.sharding.tables.<table-name>.table-strategy.sharding-algorithm-name配置的名字，这里的例子是age-mod以及id-mod。

    对于分片算法，需要配置两个属性：

    • type：分片算法的类型，此处的是MOD，取模算法
    • props：根据类型的不同，配置算法的不同属性，比如MOD类型可以配置的属性为sharding-count，sharding-count表示分片数量

    内置的分片算法包括：

    • 自动分片算法：包括取模分片、哈希取模分片、基于分片容量的范围分片、基于分片边界的范围分片、自动时间段分片
    • 标准分片算法：包括行表达式分片、时间范围分片
    • 复合分片算法：包括复合行表达式分片
    • Hint分片算法：包括Hint行表达式分片

    还有一种是自定义的分片算法，支持标准、复合、Hint类型。由于算法过多且属性比较复杂，具体的分片算法请参考官方文档。

    6 测试代码生成

    使用MyBaits Plus Generator生成相应代码，具体使用可以参考笔者之前的文章，这里直接放上生成类的代码：

    public class CodeGenerator {
    public static void main(String[] args) {
        final String USER_TABLE_NAME = "User";
        FastAutoGenerator.create("jdbc:mysql://localhost:3306/test0", "root", "123456")
                .globalConfig(builder ->
                        builder.author("author").outputDir(System.getProperty("user.dir") + "/src/main/java").build())
                .packageConfig(builder ->
                        builder.parent("com.example.demo").moduleName("user").build())
                .strategyConfig(builder ->
                        builder.addInclude("user0")
                                .entityBuilder().enableLombok().disableSerialVersionUID().convertFileName((entityName -> USER_TABLE_NAME))
                                .mapperBuilder().convertMapperFileName((entityName -> USER_TABLE_NAME + "Mapper")).convertXmlFileName((entityName -> USER_TABLE_NAME + "Mapper"))
                                .serviceBuilder().convertServiceFileName((entityName -> "I" + USER_TABLE_NAME + "Service")).convertServiceImplFileName((entityName -> USER_TABLE_NAME + "Service"))
                                .controllerBuilder().enableRestStyle().convertFileName(entityName -> USER_TABLE_NAME + "Controller"))
                .templateEngine(new FreemarkerTemplateEngine())
                .execute();
    }
}

    把UserController类修改如下：

    @RestController
@RequestMapping("/user")
@RequiredArgsConstructor(onConstructor = @__(@Autowired))
public class UserController {
    private final IUserService userService;

    @GetMapping("/insert")
    public boolean insert() {
        return userService.save(User.builder().name("name").age(new Random().nextInt(100) + 1).build());
    }

    @GetMapping("/select")
    public List<User> select() {
        return userService.list();
    }
}

    7 增加雪花id生成器

    首先修改User类，增加一个@Builder注解，同时修改id的生成策略，使用IdType.ASSIGN_ID：

    @Getter
@Setter
@Builder
public class User {
    @TableId(type = IdType.ASSIGN_ID)
    private Long id;
    private String name;
    private Integer age;
}

    新建id生成器类：

    public class IdGenerator {
    @Bean
    public IdentifierGenerator identifierGenerator() {
        return entity -> YitIdHelper.nextId();
    }
}

    这样生成id的时候，就会自动调用nextId()方法，其中的id生成器可以根据需要进行替换，换成其他雪花id生成器或分布式id生成器。

    配置的时候可以参考MyBaits Plus 自定义ID生成器文档。

    8 测试

    先随机插入三条数据，刷新三次如下页面：

    localhost:8080/user/insert

    在这里插入图片描述

    可以看到执行了三次插入操作，插入的三个表分别是：

    • test0.user2
    • test0.user1
    • test1.user0

    查看数据：

    http://localhost:8080/user/select

    在这里插入图片描述

    日志输出如下：

    在这里插入图片描述

    9 参考源码

    Java版：

    Kotlin版：

    shardingspheremybatis-plusspringboot
    氷泠
    420 声望647 粉丝
    « 上一篇
    MySQL 主从复制加密以及binlog的加密实现
    下一篇 »
    Spring Boot demo系列（十二）：ShardingSphereJDBC 分库分表 + 读写分离

    引用和评论

    推荐阅读
    头像
    解决CLion调试时无法显示变量值的问题

    氷泠阅读 825

    头像
    实现 Angular 程序处理进度条

    kexb赞 3阅读 384

    头像
    Specifications 构建动态查询

    吴季分赞 3阅读 369

    头像
    记录下解决自定义 Feign 调用，响应content-type 格式不正确导致的解析错误

    kexb赞 2阅读 751

    头像
    springboot初始化数据库+druid解密

    Zeran赞 2阅读 3.2k评论 1

    头像
    还在用命令行监控服务器？试试这款监控工具吧，直观又易用！

    macrozheng赞 2阅读 221

    头像
    如何让Spring MVC显示自定义的404 Not Found页面

    注销阅读 2.8k

    0 条评论
    得票最新