头图

  大数据体系架构中的核心组件都是主从架构,即:存在一个主节点和多个从节点,从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。
在这里插入图片描述
  视频讲解如下:
https://www.bilibili.com/video/BV1vz421z72U/?aid=1355982530&c...

  从上图可以看出大数据的核心组件都是一种主从架构,而只要是主从架构就存在单点故障的问题。因为整个集群中只存在一个主节点,如果这个主节点出现的故障或者发生了宕机,就会造成整个集群无法正常的工作。因此在实际的生产环境中就需要实现大数据HA的功能,即:High Availablity(高可用的架构)。HA的思想其实非常简单:既然整个集群中只有一个主节点存在单点故障的问题,那么只需要搭建多个主节点就可以解决这样的问题了,这就是HA的核心思想。
  
  要解决大数据主从架构的单点故障问题,需要使用到ZooKeeper。ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是大数据体系中的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。下图展示了基于ZooKeeper的HDFS HA架构。
在这里插入图片描述


赵渝强老师
30 声望10 粉丝

20年以上的IT行业从业经历,清华大学计算机软件工程专业毕业,京东大学大数据学院院长,Oracle中国有限公司高级技术顾问;曾在BEA、甲骨文、摩托罗拉等世界500强公司担任高级软件架构师或咨询顾问等要职,精通大...