分布式 | 实战:将业务从 MyCAT 平滑迁移到 dble

2022-07-25
阅读 3 分钟
1.4k
作者:肖亚洲爱可生 DBA 团队成员,负责项目中数据库故障与平台问题解决,对数据库高可用与分布式技术情有独钟。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

分布式 | 使用 Arthas 热更新 dble

2020-12-25
阅读 3 分钟
2.1k
作者:鲍凤其爱可生 dble 团队开发成员,主要负责 dble 需求开发,故障排查和社区问题解答。少说废话,放码过来。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

分布式 | DBLE 之通过 explain 进行 SQL 优化

2020-06-15
阅读 2 分钟
2.7k
作者:肖亚洲爱可生 DBA 团队成员,负责项目中数据库故障与平台问题解决,对数据库高可用与分布式技术情有独钟。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

分布式 | DBLE 之 SQL 解析

2020-04-28
阅读 2 分钟
2.6k
作者:路路热爱技术、乐于分享的技术人,目前主要从事数据库相关技术的研究。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

分布式 | DBLE 新全局表检查实现浅析

2020-04-23
阅读 2 分钟
2.7k
作者:孙正方爱可生 DBLE 核心研发成员,拥有丰富的分布式数据库中间件开发、咨询以及调优经验,擅长数据库中间件问题排查和处理,对线上中间件部分排错有深入的实践与认知。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

分布式 | DBLE LOAD DATA 功能实现解析

2020-03-12
阅读 6 分钟
2.8k
作者:路路热爱技术、乐于分享的技术人,目前主要从事数据库相关技术的研究。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

微课程 | 第十八课《慢查询日志》

2020-01-21
阅读 2 分钟
3.4k
[链接] 今天是微课程《DBLE 快速上手》的最后一课:慢查询日志。 我们 DBLE 的慢查询日志兼容这两个工具: MySQL 的 mysqldumpslow Percona 的 pt-query-digest 我们来看一下慢日志的简单演示: [链接] 我们通过管理端查看慢查询日志功能是否开启,没有开启。我们通过 enable  语句将慢查询日志开启。开启后我们要设置一...

技术分享 | MySQL 优化:JOIN 优化实践

2020-01-21
阅读 4 分钟
4.9k
近期刚好学习了丁奇老师的《MySQL 实战 45 讲》中的 join 优化相关知识,又刚刚好碰上了一个非常切合的 join 查询需要优化,分析过程有些曲折,记录下来留作笔记。

分布式 | dble 分页技巧_主键是拆分列_连续翻页

2020-01-17
阅读 4 分钟
3k
作者:钟悦就职于某大型国有银行,多年从事 MySQL 和分布式中间件的方案设计与实施工作;资深 MySQL 数据库专家,架构师;DBLE 开源项目积极贡献者。

微课程 | 第十五课《权限及黑白名单》

2020-01-10
阅读 2 分钟
3.5k
权限是对表的 DML 权限控制,包括 insert、update、select、delete 这样的权限是否允许。黑名单是继承自 druid 的一个解析器功能,解析完 SQL 觉得不安全,可以在解析完这个层面就直接禁止掉这些不安全的操作。白名单是我指定某个用户和 IP 才有登录的许可,否则是不能登录的。

微课程 | 第十四课《管理端介绍》

2020-01-06
阅读 1 分钟
3k
DBLE 的管理端就是刚刚做的一大堆管理端的命令的 9066 端口,包括 create databases 命令等。说是管理端实际上是承担了管理和监控两个职责。比如说,select 或者 show 命令其实都是用来监控,来展示 DBLE 内部的是什么样子。比如说,kill /reload 都是控制的命令。下面我们通过管理端 reload 命令演示管理端能做什么,怎...

微课程 | 第十三课《全局序列视频演示》

2020-01-03
阅读 2 分钟
2.6k
 [链接] 上一期我们介绍了全局序列的原理,接下来我们通过视频来演示一下全局序列功能。我们来看一下这两种全局序列是怎么工作的。 时间戳算法 首先是 snowflake ,也就是所谓时间戳算法。 [链接] 默认的是直接使用时间戳算法,在实际的使用中先设置一下。在 server.xml 里面有一个叫 sequnceHandlerType 的属性。值为 2...

微课程 | 第十二课《全局序列介绍》

2019-12-27
阅读 2 分钟
2.7k
我们先来介绍一下全局序列,我们DBLE目前支持四种全局序列。说是四种,如果按照他的内核区分是两种,只不过这两种方式放在不同的载体里面成为了四种。

微课程 | 第十一课《Hint 简介和演示》

2019-12-23
阅读 2 分钟
3k
我们先介绍一下 hint,hint 是一种有效注释,将业务应用指定一个分库,实现中间件可以用指定的方式去下发 SQL。基本上是这样的,hint 里面是有一个路由的结果,比如我这里面 ID=1。通过拆分算法求模,我知道 ID=1 会下发给哪个库,但是真正的执行的 SQL 是另外一种 SQL,这里面这个 SQL 也不是很好,但是能表达功能。通...

微课程 | 第十课《ER 表实现方法 2》

2019-12-20
阅读 1 分钟
2.6k
如图,有这样的 6 张表 tableA-F。这些表我设置了拆分列、分布节点和拆分算法。把它们分为三组,可以看到表格最后一列的分组号为 1 的,它们的分布节点以及拆分算法完全一样时,这三张表其实可以互为 ER。因为拆分列在将来做 JOIN 的时候是要用作 ON 的条件。但只要规则分布相同,他们之间可以互为 ER。另外几张表,一个...

微课程 | 第九课《ER 表实现方法 1》

2019-12-16
阅读 2 分钟
2.7k
ER 表是一个什么样的概念,我们可以看一下上图的右边。sales 和 sales_detail 这两个表其实就有逻辑外键关系的两张表。有外键关系的表可以用外键来拆分,或者是依赖于外键节点。比如某个列 A 和外键列关系是 1: N,外键可以唯一决定它路由的归属。中间件可以通过某个列 A 拆分以后,在另一张表按照对应列进行拆分,因为...

微课程 | 第七课《不同拆分规则的表》

2019-12-09
阅读 2 分钟
2.6k
现在我有四个节点,四个节点是按照求模拆分的,tb_mod 上有这样 5 条数据。这边 6 7 打个括号,意思是如果有 6 7 的话将会是这样一个数据分布。然后通过 jump hash 算法拆分后是这样的,1 2 3 分布在 dn2 上,4 6 分布在 dn1 上。这时我要做一个 tb_mod 和 jump_hash 的 JOIN,如果直接把 JOIN 下发是不对的。看图可以知...

微课程 | 第六课《复杂查询》

2019-12-06
阅读 2 分钟
2.7k
首先基本的 DML 我们已经介绍过了,在这里介绍下复杂查询。如图所示,所谓复杂查询大概是这样的一个定义。包括一些跨库分布的的数据查询、聚合函数、JOIN、UNION、子查询、复杂表达式和视图等等。dble 除了相关子查询是不支持的,其他都已经支持了。我们可以通过这张图来看是怎么做的。从上往下看,首先是一个客户端,然...

技术分享 | wrapper 和 dble 之间的那些事

2019-12-04
阅读 3 分钟
3.1k
在即将发布的 dble 2.19.09.0 版本中,我们将升级 dble 中 JSW 的版本,将 JSW 版本从 3.2.3 版本升级到 3.5.41 版本。升级的原因在于我们在使用过程中发现了几个比较严重的 bug,这几个 bug 会导致 dble 的守护进程异常退出和 hang 死。hang 死的案例可参考 issue:[链接]。看到这里的同学,有些同学可能对 JSW 可能还...

微课程 | 第五课《水平拆分》

2019-12-02
阅读 3 分钟
2.4k
dble 最核心的功能就是数据的水平拆分。首先说数据拆分,如果不太了解数据拆分是怎么回事,我这里先简单的介绍一下。本来我们一张表是完整的,但是这张表过大,超过一亿条数据。单表查询也好,增删改也好,都会遇到很大的问题。

微课程 | 第二课《Docker 安装方式介绍》

2019-11-22
阅读 2 分钟
2.3k
微课程 | 第二课《Docker 安装方式介绍》视频[链接] 上一期我们介绍了 DBLE 的基本概况,下面进入我们的正题,正题基本分为这四个部分。 本次课程目录结构 1. 安装演示 会介绍我们两种快速开始的方式。让大家在不太熟悉,不知道是什么结构,甚至不了级上期结构图的情况下,快速开始。 2. 基本功能 详细介绍一下我们 DBLE...

社区回顾 | 10.26 DBLE用户见面会 北京站 总结

2019-10-28
阅读 2 分钟
2.4k
​10月26日,爱可生开源社区在北京举办了线下互动式分享会议「分布式中间件 DBLE 用户见面会」,会议当天共有四十余位从事数据库相关行业的技术爱好者前来参加,分享内容主要是为正在使用 DBLE 中间件或是对 DBLE 感兴趣的同学提供相关技术方面的内容和过往经验。本次进行分布式中间件 DBLE 相关内容分享的讲师是来自爱可...

分布式 | DBLE 内存管理模块源码解读

2019-10-10
阅读 8 分钟
1.1k
简单说明一下这两点:第一点比较好理解,网络读的时候需要从通道中读取字节流到内存中,以便进一步处理,网络写的时候也需要将字节流从内存中写入到通道中,以便发送信息。第二点就比较复杂一些了,DBLE 获取到 MySQL 端的数据后,会经过 DBLE 然后再发送给客户端,如果是简单查询的话,DBLE 端只是起到一个中转的作用,...

分布式 | DBLE Release Notes 详细解读 2.19.07.0

2019-09-16
阅读 7 分钟
1.5k
DBLE 是企业级开源分布式中间件,江湖人送外号 “MyCat Plus”;以其简单稳定,持续维护,良好的社区环境和广大的群众基础得到了社区的大力支持;

社区活动 | 10.26 DBLE用户见面会 北京站

2019-09-12
阅读 1 分钟
987
活动报名链接:[链接]

分布式 | dble 沿用 jumpstringhash,移除 Mycat 一致性 hash 原因解析

2019-09-10
阅读 3 分钟
2.1k
MyCat 对于字符串类型为分片字段的数据,有三种分片模式,分别是:模值 hash(求模法),jumpstringhash(跳跃法),一致性 hash(环割法)

用户福利 | DBLE 社区支持免费 Mycat 问题诊断

2019-07-04
阅读 2 分钟
1.1k
2017年10月24日,爱可生正式开源了自主研发的企业级分布式中间件 — DBLE,江湖人送外号 “Mycat Plus”。相对于 Mycat,DBLE 从以下四点进行了增强: