聊聊SWIM Protocol

序

本文主要研究一下SWIM Protocol

SWIM Protocol

SWIM的全称是Scalable, Weakly-Consistent, Infection-Style, Processes Group Membership Protocol

heartbeats

传统的诸如heartbeats这种membership protocols，每个node周期性地向网络中的所有其他节点发送heartbeat来表示自己是alive的，如果peer超过指定interval没有收到node的heartbeart则该node被认定为dead。这种方式适用于小型网络，其发送的heartbeart数量为O(n^2)，当网络中有成千上万的node时则会造成巨大的网络负担；SWIM采用Infection-Style dissemination来解决这个问题

tasks

与传统的heartbeats相比，SWIM将整个过程分为Failure Detection及Membership update Dissemination两个task

Completeness与Accuracy

对于failure detection来，有几个衡量标准：

Completeness

是否每个failed node最终都会被检测到

Speed of failure detection

一个node从failed到被检测到failed的平均耗时

Accuracy

false positive rate，即一个node被误判为failed的概率

Message Load

在检测中每个node的network load是多少，是否均匀分布
Unreliable Failure Detectors for Reliable Distributed Systems一文中指出对于异步的网络来说，100%的Completeness与Accuracy无法同时保证，因而SWIM权衡之下选择了Completeness，同时尽可能减少false positive rate以提升Accuracy

Failure Detection

SWIM的failure detection过程分为两个部分，一个是direct ping，一个是indirect ping

direct ping

local node从alive nodes中随机选择N个node来进行detect；如果direct ping中有的node没有在timeout时间内返回ack则会进行indirect ping

indirect ping

local node从alive nodes中随机选择K个node来对direct ping目标node进行indetect ping，这K个node会把结果forwards给这个local node，最后local node检查如果这个K个node没有一个返回ack，则将该目标node标记为failed，然后通过Membership update Dissemination将该node的FAILED信息传播到网络中的其他node

Membership update Dissemination

Membership update Dissemination可以将messages分为JOINED、FAILED两类：

JOINED

当一个node加入到该网络时，需要通知其他node更新local membership新增该node

FAILED

当一个node被检测为failed时，需要通知其他node更新local membership移除该node
这个过程可以使用multicast来实现

改进

Infection-Style Dissemination

multicast实现的Dissemination是不可靠的而且低效的，一个更加robust版本的SWIM采用Infection-Style的方式进行dissemination，即利用Failure Detection的ping机制，将需要dissemination的消息piggyback在ping/ack上，来实现类似gossip的消息传播，从而减少额外的单独信息传递开销

Suspicion Mechanism

为了更好地减少false positive rate以提升Accuracy，可以引入Suspicion Mechanism，即当local node检测到该node failed时将其标记为suspected；被标记为suspected的node在最终被确认为failed之前被当做是alive；其他node如果检测到该node是alive则对该node取消suspected，恢复alive；如果在指定时间该node没有被恢复为alive则被标记为failed

Time bound failure detection

随机选择node进行ping可能会造成一定的延时，可以使用round robin的方式来取代随机选择,当所有node都选择过了之后再重新shuffle该node list

小结

SWIM的全称是Scalable, Weakly-Consistent, Infection-Style, Processes Group Membership Protocol；与传统的heartbeats相比，SWIM将整个过程分为Failure Detection及Membership update Dissemination两个task
SWIM的failure detection过程分为两个部分，一个是direct ping，一个是indirect ping
Infection-Style的方式进行dissemination，即利用Failure Detection的ping机制，将需要dissemination的消息piggyback在ping/ack上，来实现类似gossip的消息传播，从而减少额外的单独信息传递开销