大数据集群搭建及管理
问题:需要搭建 1000 台服务器的集群,其中集群包含 Hive、Hbase、Flume、Kafka、Spark 等集群,需要多长时间搭建好?
思考: 搭建四台集群与搭建 1000 台集群的区别?比较相似。
解决问题:(以搭建HDFS为例)
集群环境规划
首先我们需要进行集群基础环境的规划:比如每台节点的网络 ip 规划,节点时间同步,每台节点的名称,每台节点安装 jdk,节点之间配置免密等。
其次需要进行 Hadoop 的集群规划:比如搭建 HDFS 的版本,搭建的 HDFS 模式,搭建单机模式?还是完全分布式模式?还是HA的完全分布式模式?搭建 HDFS 是否需要依赖?比如 zookeeper。
最后对节点进行规划:比如那些节点搭建 zookeeper?那些节点搭建 Hadoop 集群等。
实际搭建步骤:
- 基础环境的搭建
- 搭建 zookeeper 集群。
- 搭建 HDFS 集群。
存在的问题:
- 各个大数据技术包的下载。升级复杂。
- 配置文件多节点之间分发。部署过程复杂。
- 大数据技术各个版本的匹配兼容。版本对应混乱,兼容性差。
- 集群使用状态、日志查看麻烦。去节点查看详细内容,安全性差。
CDH简介
目前 Hadoop 发行版非常多,除了原生的 Apache Hadoop 外,还有 Cloudera 发行版(CDH)、Hortonworks 发行版[2018 年与 Cloudera 公司已经合并],MapR的MapR 产品、AWS[Amazon Web Services]的 EMR[Elastic MapReduce]等。目前市场份额占比最高的是前三家。所有这些发行版都是基于 Apache Hadoop 衍生出来的,之所以有这么多版本,是由于 Apache Hadoop 的开源协议决定的:任何人可以对其进行修改,并作为开源或者商业产品发布或者销售。
Apache Hadoop 版本: 最原始的版本,所有的发行版都是基本这个版本改进,也称为社区版 Hadoop。
Cloudera 版本:Cloudera’s Distribution Including Apache Hadoop ,简称 CDH。
Hortonworks 版本:Hortonworks Data Platform 简称“HDP”。
对于国内的用户来说,CDH 版本使用最多。CDH 基于 Web 的用户界面,支持大多数 Hadoop 的组件,包括:HDFS、MapReduce、Hive、Hbase、Zookeeper 等组件, 并且简化了大数据平台的安装和使用,使集群方便管理。
Cloudera 的 CDH 和 Apache 原生的 Hadoop 的区别如下:
1.CDH 对版本的划分非常清晰,CDH 共有6个版本,前三个版本已经不再更新,目前更新的两个版本为 CDH5 和 CDH6,CDH4 基于 Hadoop2.0,CDH5 基于 Hadoop2.2-2.6,CDH6 基于 Hadoop3.0,而原生的Apache Hadoop版本比较多,CDH相比原生Apache Hadoop做到版本统一管理。
2.CDH相比原生 Hadoop 在兼容性、安全性、稳定性上有较大改善,对 Hadoop 一 些 bug 进行了修复,支持 Kerberos 安全认证,更新速度快且 CDH 文档完善清晰。
3.CDH 支持 yum 包,rpm 包,tar 包,Cloudera Manager 几种方式安装,原生的 Apache Hadoop只支持tar包安装。
4.提供了部署、安装、配置工具,大大提高了集群部署的效率,可以在短时间内部署好集群。
5.运维简单,提供了管理、监控、诊断、配置修改工具,管理配置方便,定位问题快速,准确,使运维工作简单高效。
CDH集成组件
CDH 集成了数据整合、存储、计算、搜索、分析等大数据相关技术组件,如下图:
CDH 中文官网:https://cn.cloudera.comCDH
英文官网:https://www.cloudera.com
CDH界面
CDH架构
Server:Cloudera Manager 的核心是 Cloudera Manager Server ,Server 管理控制台服务和托管应用程序逻辑,负责软件的安装、配置、服务的启动与关闭及管理集群。
Agent:安装在每台主机上。Agent 负责进程的启动和停止,解压配置,触发安装及监控主机。
Management Service:由一组角色组成的服务,这些角色执行各种监视,警报和报告功能。
DataBase:存储配置及监控信息。
ClouderaRepository:Cloudera Manager分发软件的存储库。
Clients:与 Server交互的接口,有两部分,Admin Console :管理员web界面版。Api:用于开发者创建Cloudera Manager程序。
以上就是今天分享的全部内容。
如果你想了解更多关于:Cloudera 系统环境准备、基础环境安装、集群部署以及应用组件安装等全方位的技术的问题,可以后台联系我。
例如:从环境搭建/集群部署,内存扩容/问题排查,数据迁移等助你轻松应对数据管理的复杂性。
感谢你的阅读,如果喜欢我的文字,可以持续关注我,会陆续为你更新更多干货小知识。 如果你想深入探讨了解 Cloudera 大数据技术的(内存扩容/缩容策略,故障诊断与问题排查)的方法论,欢迎找我:15928721005
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。