Cloudera Manager和CDH装过程(5.14.1)

Cloudera Manager和CDH装过程

安装Cloudera Manager

下载Cloudera Manager脚本（后面我简称为cm或CM），并安装

这个过程会从yum下载安装包，这安装包很大，所以可以自己搭建yum库，从而减少安装时间，可以拖到本文最下面查看‘本地安装yum库’

$ wget http://archive.cloudera.com/cm5/installer/5.14.1/cloudera-manager-installer.bin

$ chmod u+x cloudera-manager-installer.bin
# 如果从yum安装则这命令
$ sudo ./cloudera-manager-installer.bin
# 如果是本地yum库安装则要加上 --skip_repo_package=1
$ sudo ./cloudera-manager-installer.bin --skip_repo_package=1

安装完后访问http://Server host:7180，默认账号密码是admin和admin

可以查看页面服务器有没运行正常

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

给各台服务起安装cdh，在页面输入

a.centos7.com,b.centos7.com,c.centos7.com

如果是有序号的域名也可以：

 10.1.1.[1-4] 或 host[1-3].company.com

发现hosts后，cm会给每台hosts安装agent，这跟zabbix很像，主cm的是server，其他cm为agent的。
jdk可以选择安装或不安装，不按照则用本地的jdk。
cm安装完agent和jdk后，会安装CDH parcel
上述步骤走完之后，不要安装服务器先，直接完成即可。

安装CDH

在集群里添加服务，既可以安装CDH，可选择有以下服务组合：

我实验过程中，它提供的组合我是完成不到，所以我选择自定义服务，安装了Zookeeper, YARN, HDFS, HBase.

注：服务器之间可能需要免密码登录，或自己实验需自定义hosts文件，或者批量执行关闭防火墙命令，关闭selinux之类的，每部机操作都很浪费时间，所以我提供了shell脚本来解决这个问题，点击git传送门。

本地安装yum库

需自己搭建一个yum库，用临时方案
下载压缩包,很大，940M

nohup wget http://archive.cloudera.com/cm5/repo-as-tarball/5.14.1/cm5.14.1-centos7.tar.gz &

解压修改权限

[root@localhost tmp]$ tar xvfz cm5.0.0-centos6.tar.gz
[root@localhost tmp]$ chmod -R ugo+rX /tmp/cm

启动Python的http服务

$ python -m SimpleHTTPServer 8900
Serving HTTP on 0.0.0.0 port 8900 ...

现在可以访问http://server:8900/

注，网上教程说的“访问http://server:8900/cm ”是不对的，因为就已经在cm目录下启动HTTP服务器了
其实用其他http服务器也行，例如用apache httpd，则把cm目录放到 /var/www/html下也可以，只要能访问静态文件的http服务器即可。

在要安装cdh的服务器上新建repo

vim /etc/yum.repos.d/cdhrepo.repo

添加以下内容

[cdhrepo] 
name=cdhrepo 
baseurl=http://server:8900/5 
enabled=1 
gpgcheck=0
pkgpolicy=newest

缓存repo信息

yum makecache

检查cdhrepo是否存在

[root@mysql ~]# yum list|grep cdhrepo
cloudera-manager-agent.x86_64               5.14.1-1.cm5141.p0.1.el7   cdhrepo  
cloudera-manager-daemons.x86_64             5.14.1-1.cm5141.p0.1.el7   cdhrepo  
cloudera-manager-server.x86_64              5.14.1-1.cm5141.p0.1.el7   cdhrepo  
cloudera-manager-server-db-2.x86_64         5.14.1-1.cm5141.p0.1.el7   cdhrepo  
enterprise-debuginfo.x86_64                 5.14.1-1.cm5141.p0.1.el7   cdhrepo  
jdk.x86_64                                  2000:1.6.0_31-fcs          cdhrepo  
oracle-j2sdk1.7.x86_64                      1.7.0+update67-1           cdhrepo