CM & CDH 基本概念

Tianny

什么是 CDH

Hadoop 是开源项目,所以很多公司在这个基础上进行商业化,不收费的 Hadoop 主要有三个:

  • Apache,最原始的版本,所有发行版均基于这个版本进行
  • Cloudear,全称 Cloudera’s Distribution Including Apache Hadoop,简称 CDH
  • Hortonworks,全称 Hortonworks Data Platform,简称 HDP

什么是 Cloudera Manager

Cloudear Manager,简称 CM,用于管理 CDH 集群,其主要功能是对 CDH 集群进行监控,大大改善原生 Apache Hadoop 的安装、配置复杂度和需要使用第三方开源监控工具所带来的诸多问题,可进行节点安装、配置、诊断、集成并提供 web 界面。

CM 架构

基本组成:

  • Server
  • Agent:安装在每个集群节点上,Server 下发的操作都由 Agent 来实现
  • Management Service:监控报警等功能
  • Database:存储各种服务配置信息和报警信息
  • Cloudera Repoistory:用来分发 Parcels 包的远程仓库
  • Clients

Server 和 Agent 通信方式:默认情况下,Agent 每隔 15s 向 Server 发送心跳。但是当状态发生变化时,为了减少用户等待时间,会加快心跳频率。

CM 术语

  • host 主机
  • rack 机架
  • cluster 集群
  • service 服务,例如 HDFS、YARN 都是一个个服务
  • role 角色,例如 HDFS 的 NameNode 和 DataNode 都可以称为 HDFS 的 角色
  • role group 角色组,将角色划分为一组方便管理
  • host template 主机模板
  • parcel 包
  • static service pool 静态服务池
  • dynamic resource pool 动态资源池
阅读 2.3k
1 声望
1 粉丝
0 条评论
1 声望
1 粉丝
文章目录
宣传栏