躬行系列-自动故障转移-hadoop

接手动配置的上文

增加HA配置

hdfs-site.xml

<!--启用nn故障自动转移-->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>

core-site.xml

<!--指定zkfc连接的zk地址-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop-4:2181,hadoop-5:2181,hadoop-6:2181</value>
    </property>

如果你用的是root用户执行命令,你需要在start-dfs.sh stop-dfs.sh添加如下配置

HDFS_ZKFC_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root

start-yarn.sh stop-yarn.sh添加

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

执行

• 群启脚本
• start-dfs.sh
• 群停脚本
• stop-dfs.sh
• 启动zookeeper
• zk.sh start
• 初始化zkfc
• hdfs zkfc -formatZK
• start-dfs.sh
• 登录到zkCli.sh查看选举结果
• get -s /hadoop-ha/gms-cluster/ActiveStandbyElectorLock

常用命令

查看集群状态
hadoop dfsadmin -report

问题

9870的web控制台,创建文件夹权限不足

需要在hdfs-core.xml添加配置,禁用权限校验

<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>

com.jcraft.jsch.JSchException: Auth fail

解决以上报错参考:https://blog.csdn.net/lanache...

测试上传文件

hadoop fs -put /root/jdk-11.0.15_linux-x64_bin.tar.gz /