五、安装ntpd时间服务器
按照Cloudera的官方建议,所有的CDH节点和Cloudea Manager节点都需要启动ntpd服务。要不然会报如下错误:
1. 此角色的主机的运行状况为不良。 以下运行状况测试不良: 时钟偏差.
2. The host's NTP service is not synchronized to any remote server.
解决方法:
配置一台ntp服务器,所有的CDH节点作为此ntp服务器的客户端。
1.一台ntp服务器,192.168.168.81, 此机器负责与外部网络的ntp服务同步标准时间,并作为局域网内的ntp服务器。
2.两台ntp客户端,192.168.168.82,192.168.168.83, 这些机器与192.168.168.81服务器同步时间。
1.查看是否安装的ntp时间服务器
rpm -qa | grep ntp
2.安装ntp服务
yum install -y ntp ntpdate
3.修改ntp配置文件
vi /etc/ntp.conf
-----------------------------------------------------
ntp服务器需要修改的是
-----------------------------------------------------
# 中国这边最活跃的时间服务器 : http://www.pool.ntp.org/zone/cn
server 0.cn.pool.ntp.org
server 0.asia.pool.ntp.org
server 3.asia.pool.ntp.org
# allow update time by the upper server
# 允许上层时间服务器主动修改本机时间
restrict 0.cn.pool.ntp.org nomodify notrap noquery
restrict 0.asia.pool.ntp.org nomodify notrap noquery
restrict 3.asia.pool.ntp.org nomodify notrap noquery
# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available.
# 外部时间服务器不可用时,以本地时间作为时间服务
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
4.启动ntp服务
service ntpd start 启动ntp服务
service ntpd status
5.设置开机启动
chkconfig ntpd on
查看是否已经打开服务
systemctl list-unit-files | grep ntp
6.查看服务连接和监听
netstat -tlunp | grep ntp
7.查看网络中的NTP服务器,同时显示客户端和每个服务器的关系
ntpq -p
8.查看时间同步状态,这个一般需要5-10分钟后才能成功连接和同步。所以,服务器启动后需要稍等下
ntpstat
客户端配置
1. 配置/etc/ntp.conf文件,在此文件中添加如下配置:
server 192.168.168.81 prefer
2. 执行chkconfig ntpd on,设置开机启动。
3. 执行service ntpd start启动ntpd服务。
4. 同步NTP-Server时间
ntpdate -u 192.168.168.81
5. 执行hwclock –systohc,把系统时间同步到硬件BIOS。
安装好NTP之后,设置为开机自动启动,但是重启之后NTP并没有启动。
这是因为centos7已经安装了一个类似的工具chronyd。
需要先禁用chronyd。
systemctl enable ntpd
systemctl disable chronyd
六、安装mysql
1. 查看是否已经安装了mysql服务器
rpm -qa | grep -i mysql
2. 下载7.5 rpm
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm
sudo yum update
3. 安装mysql-server
sudo yum install mysql-server
4. 启动mysqld
sudo systemctl start mysqld
5. 设置开机启动
sudo systemctl enable mysqld
6. 配置msyql
首先停止mysql服务
sudo systemctl stop mysqld
安装JDBC驱动
1.下载JDBC驱动
http://www.mysql.com/downloads/connector/j/5.1.html (in .tar.gz format).
2.解压驱动包
tar zxvf mysql-connector-java-5.1.46.tar.gz
3.拷贝JDBC驱动,重命名,放到/usr/share/java/.
如果目标目录不存在,创建它。
sudo cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar
七、安装nginx,挂载本地repo
步骤:
- 安装nginx,并打开目录浏览
- 下载CM和CDH的repo-as-tarball包
安装nginx,并打开目录浏览
安装nginx对应的源
rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
yum install nginx
开放目录权限
vi /etc/nginx/nginx.conf
在配置文件里面加入以下参数
autoindex on;
autoindex_exact_size on;
autoindex_localtime on;
autoindex_exact_size on;
显示出文件的确切大小,单位是bytes。
改为off后,显示出文件的大概大小,单位是kB或者MB或者GB
autoindex_localtime on;
默认为off,显示的文件时间为GMT时间。
改为on后,显示的文件时间为文件的服务器时间
下载CM和CDH的repo-as-tarball包
下载跟OS发布版本对应的tar包
Cloudera Manager 5:
https://archive.cloudera.com/cm5/repo-as-tarball/
检查centos的md5值
md5sum -c cm5.14.3-centos7.tar.gz.md5
拷贝解压后的文件到html目录下
cd /usr/share/nginx/html
我们可以通过http://dev-hd001/cm/来访问我们的仓库
指导地址
https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_create_local_package_repo.html#cmig_topic_21_3
定义repo文件
vi /etc/yum.repos.d/cloudera-cm.repo
加入以下内容
# Packages for Cloudera's Distribution for cm, Version 5, on RedHat or CentOS 7 x86_64
name=Cloudera's Distribution for cm, Version 5
baseurl=http://dev-hd001/cm/5.14.3/
gpgkey = http://dev-hd001/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
安装CM
sudo yum install cloudera-manager-daemons cloudera-manager-server
拷贝驱动到cmf文件夹
cp mysql-connector-java.jar /usr/share/cmf/lib/
执行mysql配置语句
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep scm scm keep
执行完这条语句以后,我们发现db.properties文件发生了改变
[root@dev-fhcb-09-hd001 soft]# cat /etc/cloudera-scm-server/db.properties
# Auto-generated by scm_prepare_database.sh on Sun Oct 7 09:45:15 CST 2018
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the "Cloudera Manager Installation Guide."
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep amon amon keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep rman rman keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep hue hue keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep metastore metastore keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep sentry sentry keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep nav nav keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep navms navms keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep oozie oozie keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep activity_monitor activity_monitor keep
启动CM
sudo systemctl start cloudera-scm-server
查看CM日志
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
访问CM
http://dev-fhcb-09-hd001:7180/
每台机器上安装cdh agent
sudo yum install -y cloudera-manager-agent
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。