【赵渝强老师】基于ZooKeeper实现Hadoop HA

头像
赵渝强老师
     北京
    阅读 7 分钟
    头图

      由于在HA架构中包含的节点比较多，在进行实际部署的时候需要做好集群的规划。图14.9一共使用了4个节点来部署HDFS HA，它们分别是：bigdata112、bigdata113、bigdata114和bigdata115。由于Hadoop默认包含了HDFS和Yarn，因此在部署HDFS HA的时候，也可以同时部署Yarn的HA。每个节点上部署的服务如下表所示：
    在这里插入图片描述

      视频讲解如下：
    https://www.bilibili.com/video/BV194421S7oL/?aid=1755958606&c...

      基于已经部署好的ZooKeeper集群的部署，这里直接从Hadoop HA的部署开始。
    （1）在每个节点增加以下环境变量。

    export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_DATANODE_USER=root
export HDFS_DATANODE_SECURE_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

    （2）修改bigdata112节点上的hadoo-env.sh文件。

    export JAVA_HOME=/root/training/jdk1.8.0_181

    （3）修改bigdata112节点上的core-site.xml文件。

    <configuration>
    <!-- 指定hdfs的nameservice为ns1 -->
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://ns1</value>
    </property>
    
    <!-- 指定hadoop临时目录 -->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/root/training/hadoop-3.1.2/tmp</value>
    </property>
    
    <!-- 指定zookeeper地址 -->
    <property>
    <name>ha.zookeeper.quorum</name>
    <value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value>
    </property>
</configuration>

    （4）修改bigdata112节点上的hdfs-site.xml文件。

    <configuration> 
    <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    
    <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
    
    <!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>bigdata112:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>bigdata112:9870</value>
    </property>
    
    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>bigdata113:9000</value>
    </property>
    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>bigdata113:9870</value>
    </property>
    
    <!-- 指定NameNode的日志在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://bigdata112:8485;bigdata113:8485;/ns1</value>
    </property>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/root/training/hadoop-3.1.2/journal</value>
    </property>

    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    
    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>           
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
    <!--如果没有隔离机制，会造成DataNode脑裂的问题-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
    
    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    
    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>

    （5）修改bigdata112节点上的mapred-site.xml文件。

    <configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
</configuration>

    （6）修改bigdata112节点上的yarn-site.xml文件。

    <configuration>
    <!-- 开启RM高可靠 -->
    <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>
    </property>
    
    <!-- 指定RM的cluster id -->
    <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>yrc</value>
    </property>
    
    <!-- 指定RM的名字 -->
    <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2</value>
    </property>
    
    <!-- 分别指定RM的地址 -->
    <property>
       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>bigdata112</value>
    </property>
    <property>
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>bigdata113</value>
    </property>
    
    <!-- 指定zk集群地址 -->
    <property>
       <name>yarn.resourcemanager.zk-address</name>
       <value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value>
    </property>
    
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
</configuration>

    （7）修改bigdata112节点上的workers文件。

    bigdata114
bigdata115

    （8）将bigdata112上配置好的hadoop拷贝到其他节点。

    scp -r /root/training/hadoop-3.1.2/ root@bigdata113:/root/training/
scp -r /root/training/hadoop-3.1.2/ root@bigdata114:/root/training/
scp -r /root/training/hadoop-3.1.2/ root@bigdata115:/root/training/

    （9）在bigdata112、bigdata113和bigdata114上启动Zookeeper集群。
    （10）在bigdata112和bigdata113上启动JournalNode。

    hadoop-daemon.sh start journalnode

    （11）在bigdata112上格式化HDFS。

    hdfs namenode -format

    （12）将bigdata112上$HADOOP_HOME/tmp拷贝到bigdata113的对应目录下。

    scp -r /root/training/hadoop-3.1.2/tmp/dfs/  root@bigdata113:/root/training/hadoop-3.1.2/tmp

    （13）格式化zookeeper。

    hdfs zkfc -formatZK

# ZooKeeper格式化成功后，将看到如下的日志输出：
# 20/07/13 00:34:33 INFO ha.ActiveStandbyElector: 
# Successfully created /hadoop-ha/ns1 in ZK.

    （14）在bigdata112上启动Hadoop集群。

    start-all.sh

    （15）下面展示了整个集群在启动过程中输出的日志：

    Starting namenodes on [bigdata112 bigdata113]
Last login: Fri Sep 27 00:18:38 CST 2020 on pts/0
Starting datanodes
Last login: Fri Sep 27 00:19:37 CST 2020 on pts/0
Starting journal nodes [bigdata112 bigdata113]
Last login: Fri Sep 27 00:19:40 CST 2020 on pts/0
bigdata113: journalnode is running as process 1297.  Stop it first.
bigdata112: journalnode is running as process 1294.  Stop it first.
Starting ZK Failover Controllers on NN hosts [bigdata112 bigdata113]
Last login: Fri Sep 27 00:19:50 CST 2020 on pts/0
Starting resourcemanagers on [ bigdata112 bigdata113]
Last login: Fri Sep 27 00:19:52 CST 2020 on pts/0
Starting nodemanagers
Last login: Fri Sep 27 00:20:00 CST 2020 on pts/0
    
# 通过打印输出的日志可以看到，在bigdata112和bigdata113上启动了两个NameNode、
# 两个JournalNode和两ResourceManager。

    （16）通过jps命令查看每个节点上的后台进程，如下图所示。
    在这里插入图片描述

      在部署好了HDFS HA的架构后，便可以进行一个简单的测试以确定是否能够基于ZooKeeper实现主节点的自动切换。

    大数据hadoopzookeeperha
    赵渝强老师
    30 声望10 粉丝

    20年以上的IT行业从业经历，清华大学计算机软件工程专业毕业，京东大学大数据学院院长，Oracle中国有限公司高级技术顾问；曾在BEA、甲骨文、摩托罗拉等世界500强公司担任高级软件架构师或咨询顾问等要职，精通大...

    « 上一篇
    【赵渝强老师】大数据主从架构的单点故障
    下一篇 »
    【赵渝强老师】Kubernetes中的控制器

    引用和评论

    推荐阅读
    头像
    【赵渝强老师】Memcached的数据存储方式

    赵渝强老师

    头像
    七猫如何用 StarRocks 打造用户增长新引擎?

    StarRocks阅读 749

    头像
    数据资产管理实施路径盘点，一文读懂如何建设企业数据资产管理体系

    袋鼠云数栈阅读 748

    头像
    Etcd基本使用

    KerryWu阅读 723

    头像
    Dolphinscheduler IDEA本地调试

    journey赞 1阅读 710

    头像
    手把手教你搭建DataEase二次开发环境(Windows)

    抓bug的猫赞 1阅读 639评论 1

    头像
    Flink CDC：新一代实时数据集成框架

    ApacheFlink阅读 586

    0 条评论
    得票最新