Pisanix v0.2.0 发布|新增动态读写分离支持

1.动态读写分离介绍

1.1 介绍

读写分离是业界使用 MySQL 高可用最常用的方案之一,在实际场景中可以提高查询性能,降低服务器负载。本次版本在 v0.1.0 静态规则基础上增加了动态感知读写分离功能。

在动态感知的读写分离中,需要配置读写分离的规则。Pisa-Proxy 会根据规则进行 SQL 路由。如图1.1 Pisa-Proxy 后端会启动 4个 Monitor 对后端集群状态进行感知。Monitor Reconcile 会对 Monitor 上报的数据进行计算聚合并得出后端集群最终状态,再由 Monitor Reconcile 将状态信息通过 channel 下发给 RulesMatch,RulesMatch 拿到消息后会动态调整后端数据源列表。

这里的概念有:

  • 节点: 指后端数据库节点。
  • RulesMatch:RulesMatch 引擎通过编写的规则集,与 Pisa-Proxy 接收到的 SQL 查询语句做匹配。
  • TargetRole: 指通过规则匹配引擎匹配到的 TargetRole 组,每个 TargetRole 组里可能会有一个或多个节点。
  • LoadBalance:负载均衡模块会按照相应的算法从 TargetRole 组里选取一个合适的节点。
  • TargetInstance:指由 LoadBalance 模块选出的节点。
  • Discovery:发现类型,对应于后端数据源使用的高可用策略,例如: MHA,RDS,MGR等等,本版本中主要支持了 MHA。
  • Monitor: 指 Pisa-Proxy 对后端的探测模块,在 MHA 中主要依赖于4种 Monitor:

    • Connect Monitor: 探测数据库连通性。
    • Ping Monitor: 探测数据库是否健康。
    • Replication Lag Monitor: 探测主从复制延迟状态。
    • Read Only Monitor: 探测主从数据库角色

1.2 读写分离配置

读写分离配置规则配置方式同静态读写分离保持一致,动态读写分离配置项如下:

参数类型是否依赖默认值含义
userstringNone探测模块执行检查 SQL 语句用户名
passwordstringNone探测模块执行检查 SQL 语句密码
monitor_periodu641000探测模块更新感知后端数据源状态周期(毫秒)
connect_periodu641000Connect 模块探测周期(毫秒)
connect_timeoutu646000Connect 模块探测超时时间(毫秒)
connect_failure_thresholdu641Connect 模块探测失败重试次数
ping_periodu641000Ping 模块探测周期(毫秒)
ping_timeoutu646000Ping 模块探测超时时间(毫秒)
ping_failure_thresholdu641Ping 模块探测失败重试次数
replication_lag_periodu641000Replication Lag 模块探测周期(毫秒)
replication_lag_timeoutu646000Replication Lag 模块探测超时时间(毫秒)
replication_lag_failure_thresholdu641Replication Lag 探测失败重试次数
max_replication_lagu6410000用户定义主从最大延迟时间阈值(毫秒)
read_only_periodu641000Read Only 探测周期(毫秒)
read_only_timeoutu646000Read Only 探测超时时间(毫秒)
read_only_failure_thresholdu643Read Only 探测失败重试次数

CRD 配置示例:

apiVersion: core.database-mesh.io/v1alpha1
kind: TrafficStrategy
metadata:
  name: catalogue
  namespace: demotest
spec:
  selector:
    matchLabels:
      source: test
  loadBalance:
    readWriteSplitting:
      dynamic:
        defaultTarget: readwrite
        discovery:
          masterHighAvailability:
            connectionProbe:
              failureThreshold: 3
              periodMilliseconds: 1000
              timeoutMilliseconds: 6000
            monitorPeriod: 1000
            pingProbe:
              failureThreshold: 3
              periodMilliseconds: 1000
              timeoutMilliseconds: 6000
            readOnlyProbe:
              failureThreshold: 3
              periodMilliseconds: 1000
              timeoutMilliseconds: 6000
            replicationLagProbe:
              failureThreshold: 3
              maxReplicationLag: 3
              periodMilliseconds: 1000
              timeoutMilliseconds: 6000
            user: monitor
            password: monitor
        rules:
        - algorithmName: roundrobin
          name: write-rule
          regex:
          - ^insert
          target: readwrite
          type: regex
        - algorithmName: roundrobin
          name: read-rule
          regex:
          - ^select
          target: read
          type: regex

2. Pisanix v0.2.0 版本说明

新特性

  • Pisa-Controller

    • 在 TrafficStrategy CRD ReadWriteSplitting 字段中,增加了对动态读写分离的支持 #208
  • Pisa-Proxy

    • 支持动态感知读写分离 #204
    • 增加了 daemon sidecar 子命令 #190

增强

  • 重构了 Pisa-Proxy 配置文件 #182
  • 完善 SHOW SQL 语句解析 #183
  • 增加 Pisa-Controller 代码覆盖率检查 #192
  • 增加对后端数据源连接失败重连 #215

改进

  • Pisa-Controller

    • 修复 webhook tls #221
  • Pisa-Proxy

    • 修复 MySQL8 认证切换请求失败问题 #170
    • MySQL 协议 EOF 包处理异常 #166
    • 修复了 Charset 字符集 #154
    • 修复注入环境变量 #223

其他

3. 社区

本次版本发布共包含62个 PR,感谢各位贡献者:

  • mlycore
  • xuanyuan300
  • wbtlb
  • windghoul
  • lltgo
  • tuichenchuxin
  • dongzl

[下载链接]
(https://github.com/database-m...)

根植于Apache 顶级项目「ShardingSphere」,SphereEx 始终秉承开源、共享、生态、平台理念。

51 声望
7 粉丝
0 条评论
推荐阅读
创新能力加速产业发展,SphereEx 荣获“中关村银行杯”『大数据与云计算』领域 TOP1
8 月 9 日下午,2022 中关村国际前沿科技创新大赛“中关村银行杯”大数据与云计算领域决赛在北京市门头沟区中关村(京西)人工智能科技园·智能文创园落下了帷幕。SphereEx 凭借自身在数据库领域产品与理念的双重创...

SphereEx阅读 207

走进开源项目 - urlcat 源码分析
该项目是在 qs 项目的基础上并使用 typescript 进行开发,其中定义了 2 个类型,有几个不太了解知识点 type 、 Recode 、Partial 和 Pick 。

robin5阅读 2.1k评论 2

封面图
三年前端的2022,如果创造比卷更有趣,那为何创造不能成为主旋律?
up主2019年毕业,找了一份前端工作,一直干到现在。2019年末出现疫情,三年的时间,也差不多与我的职业生涯完全重合了。刚过去的2022年,我也没有避开阳的命运(这病毒是真的强),就12月这一个月时间,几乎全公...

Gomi8阅读 1.4k

封面图
个人/团队/公司开源,Joyqi 谈贡献开源的「不同姿势」
前不久,Answer.dev 创始人 @Joyqi 受到邀请,在刚刚结束的 GitHub Universe 的 Local Party 上做了题为「用 GitHub 构建开源项目的各种姿势」的主题分享。以下为他的分享实录。

AnswerDev7阅读 1.4k评论 2

张晋涛:我的 2022 总结
大家好,我是张晋涛。2022 年已经结束,我每年都会惯例的做个小回顾,今年因为阳了在恢复身体,一直拖到了今天才写。生活在 2022 年初做回顾的时候,觉得 2021 是魔幻的一年,但现在看来 2022 年其实更加魔幻。一...

张晋涛6阅读 666评论 2

封面图
万字详解,吃透 MongoDB!
MongoDB 是一个基于 分布式文件存储 的开源 NoSQL 数据库系统,由 C++ 编写的。MongoDB 提供了 面向文档 的存储方式,操作起来比较简单和容易,支持“无模式”的数据建模,可以存储比较复杂的数据类型,是一款非常...

JavaGuide3阅读 221

封面图
阿里云被曝 UI 抄袭,复刻 SkyWalking Trace Profiling 页面
2023 年 1 月 3 日,SkyWalking 官网发布消息,称阿里云抄袭了 SkyWalking Trace Profiling 整体页面 UI,包括页面布局、文字和分析任务设置,唯一的区别仅有颜色方案。

鸣飞5阅读 4.7k

根植于Apache 顶级项目「ShardingSphere」,SphereEx 始终秉承开源、共享、生态、平台理念。

51 声望
7 粉丝
宣传栏