开务数据库分布式存储的负载均衡

导读

开务数据库是浪潮开源的 NewSQL 分布式数据库，拥有强一致、高可用的分布式架构。在高负载的情况下，分布式数据库能够将负载压力平衡到不同的物理机节点上，充分利用不同节点的资源。本文将介绍开务数据库在面对高负载存储过程中采用的负载均衡策略。

负载均衡
作为分布式数据库，为了更有效利用不同物理机节点的资源， 避免服务器性能的浪费，在数据库高负载的情况下需要尽量将压力平衡到各个物理机节点上。这也是分布式数据库的研究重点之一。

开务数据库在存储上采用三副本策略，即每份数据默认同时存在三个节点中，每个副本为一个 Replica。数据库在进行读写时，其中一份副本会获得一定时间内的租约，成为 lease，该 lease 的节点即为该 range 的 leaseholder。系统的读写都是通过 leaseholder 进行的，leaseholder 会将对该副本的读写同步到其他的 Replica。

开务数据库在启动时会创建 StoreReblancer，用于自适应的对副本进行均衡。开务数据库通过对 Replica 以及 lease 进行迁移以平衡数据库的压力负载。StoreReblancer 会以 10 秒的周期反复执行，如果存储的压力超过阈值，则会循环对每个 range 分两个部分进行平衡，包括租约平衡和副本平衡。

图 1-1 负载均衡基本流程图

租约平衡
开务数据库会维护当前节点存储的副本，其中的 lease 会维护该副本的 QPS（每秒查询率），并按照 QPS 降序进行排序。压力不够阈值的 range，不进行平衡。StoreReblancer 会循环遍历一个 range 的多个副本，排除本地的，排除压力不符合阈值的，排除不正常的，排除 zone 限制的副本，选择剩下的副本转移租约。租期的选举和迁移不涉及到 replica 的复制和传输。

对于需要迁移的 range 来说，StoreReblancer 对其租约迁移的副本选取规则如下：

1. 非本地副本。
2. 当前 store 拥有的租期是合法的。
3. 判断租期转移后本地 range 的 QPS 可以转到阈值以内。
4. 待迁移的 replica 的 raftStatus 领先于候选的 replica 的 raftStatus
5. 满足 zone（分区信息）的约束条件 。一些表可能会带有租期的限制条件，规定了该数据表的副本所在的结点，以及租期所在的结点。对于固定了租期的数据表，StoreReblancer 不会迁移其 range 的租期。

Lease 选取的基本流程如图 1-2 所示：

图1-2 待选取 lease 流程

如果当它的 QPS 大于当前的阈值范围，数据库会将其租约转移到该存储该副本的其他节点上。因为数据库是直接对 leaseholder 进行读写，并由 leaseholder 同步到其他副本，故当节点负载过大时，只要将较大读写负载的副本租约转换到其他节点，就可以把该部分的压力均衡出去。

副本平衡
如果保存某副本的三台节点压力负载都不符合 lease 的迁出条件时，数据库会选择将该副本同步到三副本以外的节点，然后将 lease 迁出，以动态平衡压力。系统会对需要平衡的 range 进行筛选，对于压力没有达到阈值的 range 或迁移后对该 store 的 QPS 影响较小时，则不会进行平衡操作。

系统首先设定目标 store 数量，通常等于 range 的副本数。循环一个 range 的多个副本，排除本地副本后，如果副本所在的 store 压力符合阈值，或者不存在，将该 store 放入目标数组。

如果目标数组的目标数量不足，则继续从其他所有 store 中选择，直到符合目标数量。选择 Store 目标数组的过程需要符合 zone（分区）限制，容量限制，压力阈值限制，并排序。如果还是不足，则放弃平衡。同时，副本的迁移应该满足多样性的限制，多样性指副本所在的多级分区的分散程度，副本所在的多级分区越分散，多样性分值越高。在选择目标 store 时，需要将新的多样性分值同原来的多样性分值进行比较，如果不如以前，则放弃平衡。

开务数据库会循环目标数组，计算新的租约和压力值，然后选择目标数组进行副本迁移。迁移过程首先用 batch 命令，副本收到命令，并发送快照。

热数据分裂
如果同时对某副本的数据进行大量的读写，压力负载是由于该副本引起时，单纯的迁移 lease 或者 replica 都无法较好的调节该情况。该部分功能由 splitQueue 进行管理。开务数据库会选择对热点数据的 range 进行分裂，从而把压力从单个 range 上分开，该步骤会导致创建新的 replica，从而分散了压力和流量。创建新的 replica 之后的均衡仍由 store-reblancer 进行。数据库会在 range 分裂后再进行 reblance。当压力降低后，系统会自动进行 range 的合并。

总结
以上就是开务数据库在处理高负载存储时采用的负载均衡策略，通过租约平衡、副本平衡与热数据分裂三种不同维度的均衡策略，避免了单个节点在高负载情况下出现性能瓶颈，提升了数据库系统的读写性能。