hdfs高容错机制

总结以上链接内容

  • 针对3种故障,分别对应多种措施

    • 节点失败

      • 若namenode真的故障,凉凉,在非高可用的版本下整个集群挂掉
      • 若datanode故障,可通过每3秒的向namenode发送的心跳信号来检测是否正常工作,10分钟都没收到那么就视为挂掉了
    • 网络故障

      • 通信时任何一次消息发送都会等待确认帧ack,未收到则说明故障了
    • 数据损坏

      • 每次进行数据发送会伴随一个总的校验码,校验码随数据一起存储,可以用来鉴定数据,在下一次需要对该块数据进行工作时,会取出数据及校验码校验后向namenode汇报,对于有故障的块会综合分析进行还原

eason
63 声望1 粉丝

每次选择.都是蜕变


« 上一篇
hive调优
下一篇 »
hive建模分析