Hadoop完全分布式模式安装

ch123

Hadoop完全分布式模式安装

实验环境

·操作机:Windows 7

·目标机:3台集群,配置如下:

图片.png

实验工具

·Web浏览器:常用的有谷歌浏览器,火狐浏览器等

·Xshell6:是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。

·Xftp6:是一个功能强大的SFTP、FTP 文件传输软件。

实验内容

Hadoop完全分布式模式是真正的生产环境,Hadoop的守护进程运行在由多台主机搭建的集群上。

本实验通过在三台服务器的环境中进行Hadoop完全分布式的搭建。

实验步骤

使用hadoop(个人用户)

1.关闭防火,输入下面两个命令

   #关闭防火墙

   sudo systemctl stop firewalld.service

   #关闭开机启动

   sudo systemctl disable firewalld.service

2.添加地址与主机名的映射:

sudo vi /etc/hosts

加入内网地址与主机名的对应:

图片.png

3.设置免密登陆:

(1)目录跳转:cd ~/.ssh

(2)生成公私钥:ssh-keygen –t rsa

这里要点击回车,会在当前目录生成两个文件,一个公钥一个私钥

图片.png

(3)将公钥拷贝到其它机器上,实现免密码登录

ssh-copy-id master

ssh-copy-id slave1

ssh-copy-id slave2

这样会在slave1 的~/.ssh/目录下生成一个authorized_keys 就可以实现master免登录到3个节点,如下:

(4)测试ssh免密:ssh slave2

图片.png

4.安装JDK

(1)在/opt/下创建soft-install文件夹来存放安装的软件:mkdir /opt/soft-install

(2)创建soft目录来安装软件:mkdir /opt/soft

(3)Jdk下载地址:

https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz

(4)使用xftp6将压缩包传到服务器

图片.png

(4)将jdk解压到/opt/soft/目录下:

tar -zxvf jdk-8u201-linux-x64.tar.gz -C /opt/soft/

(5)修改环境变量

sudo vi /etc/profile

(6)在文件最后下添加:

export JAVA_HOME=/opt/soft/jdk1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

图片.png

(7)刷新配置文件:source /etc/profile

(8)测试java环境:java -version

图片.png

5.安装Hadoop

(1)下载Hadoop:

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

(2)解压hadoop压缩包:tar -zxvf ./soft-install/hadoop-2.7.7.tar.gz -C /opt/soft/

(3)删除docs

cd /opt/soft/Hadoop-2.7.7/share

rm –rf doc/

(4)修改环境变量

sudo vi /etc/profile

(5)在文件最后下添加:

图片.png

(6)刷新配置文件

source /etc/profile

6.修改hadoop的6个配置文件hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,slaves文件全部位于/opt/soft/hadoop-2.7.7/etc/hadoop文件夹下

(1)修改hadoop-env.sh,修改文件内容:

图片.png

(2)修改core-site.xml,修改文件内容:

图片.png

(3)hdfs-site.xml,修改文件内容:
图片.png

(4)mapred-site.xml

先修改名字:

mv mapred-site.xml.template mapred-site.xml

修改内容:

图片.png
(5)修改yarn-site.xml,修改内容:

图片.png

8088需要配置外网。

(6)修改slaves,添加:
图片.png

(7)新建一个masters的文件,这里指定的是secondary namenode 的主机

添加:

图片.png

(8)在hadoop2.7.7目录下创建文件夹:

mkdir tmp name data

7.拷贝配置文件到其他主机

(1)复制/etc/hosts:

scp /etc/hosts slave1:/etc/

scp /etc/hosts slave2:/etc/

(2)复制/etc/profile:

scp /etc/profile slave1:/etc/

scp /etc/profile slave2:/etc/

(3)复制/opt/soft:

scp -r /opt/soft slave1:/opt/

scp -r hadoop slave1:/opt/soft/

scp -r /opt/soft slave2:/opt/

(4)记得在slave1和slave2上刷新环境变量

source /etc/profile

8.启动hadoop

(1)进入hadoop2.7.7目录下:

ch /opt/soft/hadoop2.7.7

(2)第一次启动需要格式化:

./bin/hdfs namenode –format

(3)启动dfs:

./sbin/start-dfs.sh

(4)启动yarn:

./sbin/start-yarn.sh

9.查看hadoop是否启动成功

(1)在master节点输入jsp查看

图片.png
(2)在slave1节点输入jsp查看
图片.png
(3)在slave2节点输入jsp查看

图片.png

(4)通过浏览器测试hdfs:

master:50070

图片.png

(5)通过浏览器测试yarn:

master:8088

图片.png
可以看到两个节点

阅读 1k

积土而为山,积水而为海。

60 声望
7 粉丝
0 条评论

积土而为山,积水而为海。

60 声望
7 粉丝
文章目录
宣传栏