【异常总结】SeaTunnel集群脑裂配置优化方法

头像
SeaTunnel
     广东
    阅读 8 分钟

    集群配置

    项目描述
    数量3台
    规格阿里云ECS 16C64G
    Slot模式静态50个
    ST内存配置-Xms32g -Xmx32g -XX:MaxMetaspaceSize=8g

    异常问题

    4月份以来，出现了3次集群脑裂现象，均为某节点脑裂/自动关闭。

    核心日志如下：

    Master节点

    出现Hazelcast监控线程打印的Slow Operation日志

    file

    Hazelcast 心跳超时60s后，会看见198已经离开了集群

    file

    198 worker节点

    我们可以看到，已经无法获得Hazelcast集群节点的心跳，且超时超过60000ms

    file

    尝试重连到集群

    file

    然后打到该节点上的状态查询、提交作业等请求，卡死无状态；

    file

    这时整个集群不可用，处于僵死状态，我们写的节点健康检查接口，均不可用， 早高峰时间出现了服务不可用，于是我们观察日志出现集群脑裂后，快速重启了集群。

    file

    后期调参后，甚至还出现过调参后节点自动关闭的问题

    file

    file

    问题分析

    可能出现Hazelcast集群脑裂组网失败的问题，有以下几个：

    • 集群所在的ECS系统NTP不一致；
    • 集群所在的ECS出现了网络抖动问题，访问不可用；
    • ST出现FULL GC导致JVM卡顿，导致组网失败；

    前两个问题，我们通过运维同学，明确网络无问题，阿里云NTP服务正常三个服务器时间无间隔；

    第三个问题，我们再198节点出现异常前最后一次hazelcast健康检查日志发现，cluster time的时间点为-100毫秒，看起来影响不大。

    file

    于是我们在后续启动时，添加了jvm gc日志参数，用以观察full gc的时间，我们观察过最多有观察到27s， 三个节点相互Ping监控，极易出现hazelcast 60s的心跳超时时间。

    同时我们也发现，某个14亿CK表同步时，运行一定时间后，就容易FullGc异常问题。

    file

    问题解决方案

    增加ST集群心跳时间

    hazelcast集群故障检查器负责确定集群中的成员是否无法访问或崩溃。

    但根据著名的FLP结果，在异步系统中不可能区分崩溃的成员和缓慢的成员。解决此限制的方法是使用不可靠的故障检测器。不可靠的故障检测器允许成员怀疑其他人已经失败，通常基于活性标准，但它可能会在一定程度上犯错误。

    Hazelcast 具有以下内置故障检测器：Deadline Failure Detector 和 Phi Accrual Failure Detector。

    默认情况下，Hazelcast 使用Deadline Failure Detector进行故障检测。

    还有一个 Ping 故障检测器，如果启用，它会与上述检测器并行工作，但会识别 OSI 第 3 层（网络层）上的故障。该检测器默认处于禁用状态。

    Deadline Failure Detector

    对丢失/丢失的心跳使用绝对超时。超时后，成员将被视为崩溃/不可用并标记为可疑

    相关参数及说明

    hazelcast:

properties:

hazelcast.heartbeat.failuredetector.type: deadline

hazelcast.heartbeat.interval.seconds: 5

hazelcast.max.no.heartbeat.seconds: 120
    配置项描述
    hazelcast.heartbeat.failuredetector.type集群故障检查器模式：deadline.
    hazelcast.heartbeat.interval.seconds成员之间互相发送心跳消息的时间间隔。
    hazelcast.max.no.heartbeat.seconds定义集群成员因未发送任何心跳而受到怀疑的超时时间。

    Phi-accrual 计故障检测器

    跟踪滑动时间窗口中心跳之间的间隔，测量这些样本的平均值和方差，并计算怀疑级别 (Phi) 值。

    当自上次心跳以来的时间间隔变长时，phi 的值会增加。如果网络变得缓慢或不可靠，导致均值和方差增加，则怀疑该成员之前需要更长的时间没有收到心跳。

    相关参数及说明

    hazelcast:

properties:

hazelcast.heartbeat.failuredetector.type: phi-accrual

hazelcast.heartbeat.interval.seconds: 1

hazelcast.max.no.heartbeat.seconds: 60

hazelcast.heartbeat.phiaccrual.failuredetector.threshold: 10

hazelcast.heartbeat.phiaccrual.failuredetector.sample.size: 200

hazelcast.heartbeat.phiaccrual.failuredetector.min.std.dev.millis: 100
    配置项描述
    hazelcast.heartbeat.failuredetector.type集群故障检查器模式：phi-accrual
    hazelcast.heartbeat.interval.seconds成员之间互相发送心跳消息的时间间隔
    hazelcast.max.no.heartbeat.seconds定义集群成员因未发送任何心跳而受到怀疑的超时时间。由于故障检测器可适应网络条件，您可以定义低于截止时间故障检测器 hazelcast.max.no.heartbeat.seconds 中定义的超时时间
    hazelcast.heartbeat.phiaccrual.failuredetector.threshold成员被视为无法访问并标记为可疑的 phi 阈值。计算出的 phi 超过此阈值后，成员将被视为无法访问并标记为可疑。较低的阈值允许您检测成员中的任何崩溃或故障，但可能会生成更多故障并导致错误的成员被标记为可疑。较高的阈值产生的故障较少，但检测实际崩溃/故障的速度较慢。例如，phi = 1 的情况下故障识别的错误率约为 10%，phi = 2 则约为 1%，phi = 3 约为 0.1%。默认情况下，phi 阈值设置为 10
    hazelcast.heartbeat.phiaccrual.failuredetector.sample.size为历史保留的样本数量。默认情况下，此项设置为 200
    hazelcast.heartbeat.phiaccrual.failuredetector.min.std.dev.millis正态分布中 phi 计算的最小标准差

    配置参考文档：

    为了更准确，我们采用社区建议，在hazelcast.yml使用phi-accrual 故障检测器，并配置超时时间为180s:

    hazelcast:

properties:

# 以下为追加的新参数

hazelcast.heartbeat.failuredetector.type: phi-accrual

hazelcast.heartbeat.interval.seconds: 1

hazelcast.max.no.heartbeat.seconds: 180

hazelcast.heartbeat.phiaccrual.failuredetector.threshold: 10

hazelcast.heartbeat.phiaccrual.failuredetector.sample.size: 200

hazelcast.heartbeat.phiaccrual.failuredetector.min.std.dev.millis: 100

    优化GC配置

    SeaTunnel默认使用G1垃圾处理器，内存配置的越大，若YoungGC/MixedGC资源回收的不够多(多线程)，从而频繁触发FullGC处理(JAVA8单线程处理，时间很长)，若集群多节点一起FullGC，则会导致集群越有可能出现组网异常问题；

    所以我们的目标就是YoungGC/MixedGC尽可能利用线程回收足够多的内存。

    未优化的参数

    -Xms32g

-Xmx32g

-XX:+HeapDumpOnOutOfMemoryError

-XX:HeapDumpPath=/tmp/seatunnel/dump/zeta-server

-XX:MaxMetaspaceSize=8g

-XX:+UseG1GC

-XX:+PrintGCDetails

-Xloggc:/alidata1/za-seatunnel/logs/gc.log

-XX:+PrintGCDateStamps

    于是我们尝试增加GC暂停的时间

    -- 该参数设置所需最大暂停时间的目标值。默认值为 200 毫秒。

-XX:MaxGCPauseMillis=5000

    Mixed Garbage Collections会根据该参数中该参数和历史回收耗时来计算本次要回收多少Region才能耗时200ms，假如回收了一部分远远没有达到回收的效果，G1还有一个特殊处理方法，STW后进行回收，然后恢复系统线程，然后再次STW，执行混合回收掉一部分Region，‐XX:G1MixedGCCountTarget=8 (默认是8次)，反复执行上述过程8次。

    eg：假设要回收400个Region，如果受限200ms，每次只能回收50个Region，反复8次刚好全部回收完毕，避免单次停顿回收STW时间太长。

    第一次优化后参数

    -Xms32g

-Xmx32g

-XX:+HeapDumpOnOutOfMemoryError

-XX:HeapDumpPath=/tmp/seatunnel/dump/zeta-server

-XX:MaxMetaspaceSize=8g

-XX:+UseG1GC

-XX:+PrintGCDetails

-Xloggc:/alidata1/za-seatunnel/logs/gc.log

-XX:+PrintGCDateStamps

-XX:MaxGCPauseMillis=5000

    MixedGC 日志如下：

    file

    MixedGC 日志暂停耗时， 该参数仅是预期值，目前看返回结果的均在预期范围内；

    file

    full gc日志

    file

    但是仍然无法避免FullGc，切耗时在20s左右，追加的参数只是少量优化GC性能。

    我们通过观察日志，发现在MixedGC场景下，老年代没有被正常GC掉，有大量存留数据在老年代中未被清理。
    file
    于是我们，我们尝试从增加老年代内存，以及G1垃圾回收器一些性能参数进行调参；

    优化的参数如下：

    -Xms42g

-Xmx42g

-XX:GCTimeRatio=4

-XX:G1ReservePercent=15

-XX:G1HeapRegionSize=32M

    堆内存(-Xms / -Xmx) 由32G->42G，变相增大了老年代区域的上限，理论上可以减少FullGC的次数；

    GC占用的CPU和工作线程占用CPU时间比例（-XX:GCTimeRatio） 由10%->20%，计算公式为100/(1+GCTimeRatio)，增加GC时占用时间；

    保留空间（-XX:G1ReservePercent）由10%->15%，转移失败（Evacuation Failure）是指当G1无法在堆空间中申请新的分区时，G1便会触发担保机制，执行一次STW式的、单线程的Full GCG。可以保留空间增加，但是调高此值同时也意味着降低了老年代的实际可用空间，于是我们增大了堆内存，提升该参数可以缓解下列场景的出现：

    • 从年轻代分区拷贝存活对象时，无法找到可用的空闲分区。
    • 从老年代分区转移存活对象时，无法找到可用的空闲分区。
    • 分配巨型对象时在老年代无法找到足够的连续分区。

    堆内存Region大小（-XX:G1HeapRegionSize）—大小调整至32MB，优化对大对象的回收；

    第二次优化后参数

    -Xms42g

-Xmx42g

-XX:+HeapDumpOnOutOfMemoryError

-XX:HeapDumpPath=/tmp/seatunnel/dump/zeta-server

-XX:MaxMetaspaceSize=8g

-XX:+UseG1GC

-XX:+PrintGCDetails

-Xloggc:/alidata1/za-seatunnel/logs/gc.log

-XX:+PrintGCDateStamps

-XX:MaxGCPauseMillis=5000

-XX:GCTimeRatio=4

-XX:G1ReservePercent=15

-XX:G1HeapRegionSize=32M

    优化后我们发现当天整体的FullGC数量有一定下降，但是仍未达到无FullGC的预期

    file

    file

    继续观察日志，发现并行交集阶消耗了大量的时间，并出现很多次abort记录。

    file

    优化的参数如下：

    -XX:ConcGCThreads=12

-XX:InitiatingHeapOccupancyPercent=50

    与应用一起执行的GC线程数量(-XX:ConcGCThreads) 由4->12，该值越低则系统的吞吐量越大，但过低会导致GC时间过长。当并发周期时间过长时，可以尝试调大GC工作线程数，但是这也意味着此期间应用所占的线程数减少，会对吞吐量有一定影响，对于离线数据同步场景，避免FullGC这个参数很重要。

    老年代并发标记比率（-XX:InitiatingHeapOccupancyPercent）由 45%->50%，提早进行并发标记处理，提升MixedGC性能；

    file

    第三次优化后参数

    -Xms42g

-Xmx42g

-XX:+HeapDumpOnOutOfMemoryError

-XX:HeapDumpPath=/tmp/seatunnel/dump/zeta-server

-XX:MaxMetaspaceSize=8g

-XX:+UseG1GC

-XX:+PrintGCDetails

-Xloggc:/alidata1/za-seatunnel/logs/gc.log

-XX:+PrintGCDateStamps

-XX:MaxGCPauseMillis=5000

-XX:InitiatingHeapOccupancyPercent=50

-XX:+UseStringDeduplication

-XX:GCTimeRatio=4

-XX:G1ReservePercent=15

-XX:ConcGCThreads=12

-XX:G1HeapRegionSize=32M

    JVM调优参考：

    优化效果

    自4月26日配置优化修改后，未再出现集群脑裂问题，服务可用性监控显示，集群均可恢复正常。

    自4月30日Jvm参数调优后，五一假期内，我们实现了3台节点FullGC数量为0的优化目标，系统健康检查接口未再出现任何卡顿异常。

    虽然一定程度上牺牲了应用线程处理的吞吐量，但是我们保证了集群的稳定性，使zeta在内部大规模推广得到了保证。

    file

    file

    file

    本文由 白鲸开源科技 提供发布支持！
    数据库
    SeaTunnel
    85 声望20 粉丝

    Apache SeaTunnel是下一代高性能、分布式、海量数据集成框架。通过我们的努力让数据同步更简单，更高效，大幅减少学习成本，加快分布式数据处理能力在生产环境落地。

    « 上一篇
    PostgreSQL 连接器：在 SeaTunnel 中的应用与优势
    下一篇 »
    恭喜！Apache SeaTunnel2024开源之夏学生中选名单出炉！

    引用和评论

    推荐阅读
    头像
    Apache SeaTunnel 2025年3月份社区月度报告新鲜出炉！

    SeaTunnel阅读 361

    头像
    53 倍性能提升！TiDB 全局索引如何优化分区表查询？

    PingCAP赞 2阅读 820

    头像
    分布式数据库解析

    风流倜傥的伤痕赞 1阅读 1.1k

    头像
    Easysearch 证书：Windows 上创建自签名证书的 7 种方法

    极限实验室赞 1阅读 1k

    头像
    做到真正0丢失、0重复：Apache SeaTunnel 实现万亿级数据一致性全解密

    SeaTunnel赞 1阅读 525

    头像
    在 Kubernetes 上用 KubeBlocks + Dify 快速构建生产级 AIGC 应用

    小猿姐阅读 2.3k

    头像
    入选AAAI 2025！解决医学图像分割软边界与共现难题，中国地质大学等提出图像分割模型ConDSeg

    超神经HyperAI阅读 1.4k

    0 条评论
    得票最新