Apache Doris fe元数据故障运维

张家锋

Doris是一个非常优秀的MPP数据仓库,

在前两天线上出现一个问题,我三个FE,出现了一个FE挂掉,然后我重启启动不起来,

我备份这个FE元数据后,将这个节点元数据清除掉,使用

--先删除

ALTER SYSTEM DROP FOLLOWER "FE:9010"

--在添加

ALTER SYSTEM ADD FOLLOWER "FE:9010"

删除改节点,然后在使用--helper方式把该节点作为一个新的FE加入到集群中,但是这时候启动会报错,同时会导致Master FE挂掉,具体异常信息如下

repImpl=com.sleepycat.je.rep.impl.RepImpl@68fa4d19 props={REFRESH_VLSN=17921230, PORT=9010, HOSTNAME=172.22.197.238, P_NODETYPE1=ELECTABLE, NODE_NAME=172.22.197.238_9010_1611290318143, P_NODETYPE0=SECONDARY, P_NODENAME1=172.22.197.240_9010_1608972313975, P_PORT1=9010, P_NODENAME0=172.22.197.238_9010_1611290318143, P_PORT0=9010, P_HOSTNAME1=172.22.197.240, GROUP_NAME=PALO_JOURNAL_GROUP, P_HOSTNAME0=172.22.197.238, ENV_DIR=/hdd_data01/doris-meta/bdb, P_NUMPROVIDERS=2}

at com.sleepycat.je.rep.InsufficientLogException.wrapSelf(InsufficientLogException.java:315) ~[je-7.3.7.jar:7.3.7]

at com.sleepycat.je.dbi.EnvironmentImpl.checkIfInvalid(EnvironmentImpl.java:1766) ~[je-7.3.7.jar:7.3.7]

image.png

后来在社区,缪小姐姐及陈明雨大神的协助下,进行了各种尝试定位,认为是在启动的时候元数据同步异常,这个异常可能是因为我当时的load数据任务在同步修改元数据,造成的,后来在凌晨,生产开货完成以后,停掉所有load任务,然后执行删除问题FE节点元数据,然后在重新使用--helper启动,依然报错,最后没办法,尝试将master节点的fe元数据拷贝到问题节点FE,将问题节点FE的元数据目录删除,然后重建,将赋值过来的元数据,拷贝到元数据目录

具体步骤:

停止所有load任务

删除元数据目录,并重建目录

从master节点拷贝元数据到问题节点fe(将 fe.conf 中的 metadata_failure_recovery=true 配置项删除,或者设置为 false,这个非常重要),注意要修改image/VERSION 里的name,拷贝过来的是master的名称,改成该节点的名称

执行 ALTER SYSTEM DROP FOLLOWER 删除改节点

在问题节点使用--helper启动服务

在mysql下执行 ALTER SYSTEM ADD FOLLOWER 将FE节点从新加入进去

启动正常

注意:

1.问题节点:将 fe.conf 中的 metadata_failure_recovery=true 配置项删除,或者设置为 false

2.Master节点启动使用 metadata_failure_recovery=true启动,进行恢复,启动正常以后,将这个配置删除或者设置为false,停掉Master fe,然后在重启,启动完成以后,要确认Master查询,导入是正常的

上述步骤执行完成以后,然后在问题节点在使用--helper方式启动fe,这个时候正常启动,问题解决

重新启动所有Load任务

不过这个还是一个问题,理论上,将问题FE节点元数据删除以后,把它当做一个新的FE节点,使用--helper加入进去,是应该没问题的,启动以后会自动从master FE同步元数据,但是出现了同步失败的情况(这个时候也没有任何load任务,对元数据进行修改的情况)

阅读 812

Apache Doris Committer

18 声望
11 粉丝
0 条评论

Apache Doris Committer

18 声望
11 粉丝
文章目录
宣传栏