Hadoop伪分布式模式安装

Hadoop伪分布式模式安装

实验环境

·操作机：Windows 7

实验工具

·Web浏览器：常用的有谷歌浏览器，火狐浏览器等

·Xshell6：是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。

·Xftp6：是一个功能强大的SFTP、FTP 文件传输软件。

·VMware Workstation Pro：是一款功能强大的桌面虚拟计算机软件。

实验内容

Hadoop单节点伪分布式就是在一台主机模拟多主机，NameNode,DataNode,JobTracker,TaskTracker这些守护进程都在同一台机器上运行，是相互独立的java进程。

本实验通过单节点的虚拟机环境，进行hadoop伪分布式的搭建，从虚拟机的搭建，再到hadoop环境的配置。

实验步骤

1.虚拟机的配置

（1）右击网络图标，点击打开网络和共享中心

（2）点击更改适配器设置，右击VMnet8属性，打开VMnet8的适配器设置查看ipv4地址

（3）点击Internet协议版本4（TCP/IPv4），选择属性，查看IP地址

（4）打开Vmware点击 编辑->虚拟网络编辑器

（5）点击VMnet8.将子网地址设置和本地在同一个网段

（6）点击NAT设置网关为同一个网段：

需要记住：

子网掩码：255.255.255.0

网关：192.168.129.2

（7）下载CentOS 7镜像文件

http://mirror.lzu.edu.cn/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-Minimal-1810.iso

2.创建虚拟机

（1）打开VMware Workstation->文件->新建虚拟机

（2）选择典型（推荐）点击下一步

（3）选择刚下载好的CentOS.iso文件作为安装程序光盘映像文件，点击下一步

（4）修改虚拟机名称，修改虚拟机安装位置（名称、位置随意），点击下一步

（5）默认最大磁盘大小20.0GB，下一步；点击完成，打开虚拟机。

注（未出现错误跳过这部）：打开虚拟机时若出现如下错误：

重启按F1（联想台式机）进入BIOS界面将在Security中找到Intel (R) Virtualization Technology，将它设置成Enabled(开启)

（6）设置虚拟机中的网络适配器，选择自定义VMnet8（NAT模式）

（7）开启虚拟机后选择安装CentOS 7,回车后等待一分钟。

（8）出现如下界面，选择English语言，点击Continue

（9）点击INSTALLATION DESTINA TION

（10）默认选项，点击Done退出

（11）点击Begin Installation后出现

（12）分别点击进去设置root账户密码和普通账户

（13）点击Done退出等待安装（几分钟），完成后重启

（14）使用用户名root，密码123456（前面设置的）登陆

3.虚拟机配置

（1）关闭防火墙

systemctl stop firewalld.service

关闭开机启动防火墙

systemctl disable firewalld.service

（2）配置网络

cd /etc/sysconfig/network-scripts/

vi ifcfg-ens33

修改数据：

BOOTPROTO=static            ### 手动设置IP
#UUID=...                   ### 注释掉UUID方便后面clone虚拟机
IPADDR=192.168.129.100        ### 本机IP 为 192.168.2.100
NETMASK=255.255.255.0       ### 子网掩码
GATEWAY=192.168.129.2         ### 默认网关 对应我们NAT设置里查看的网关IP
DNS1=8.8.8.8                ### DNS 设置为Google的
ONBOOT=yes                  ### 开机启动

（3）重启网络

/etc/init.d/network restart

（4）测试网络

ping www.baidu.com

4.使用xshell和xftp连接虚拟机

（1）下载xshell和xftp，下载地址：https://www.netsarang.com/zh/...

（2）打开下载好的xshell，连接虚拟机,点击文件->新建，填写主机ip地址，

（3）双击新建的会话

5.安装jdk,hadoop

（1）使用下载好的xftp连接虚拟机，点击文件->新建

（2）输入主机地址，用户名密码，点击确认

（3）点击新创建的回话，连接

（4）JDK下载地址：

https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz

（5）hadoop下载地址：

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

（6）将下载好的jdk,hadoop直接拖到新建会话中

（7）可以在xshell中看到上传的文件

（8）在/opt/下创建soft文件夹来安装的软件，将jdk、hadoop解压到/opt/soft

tar -zxvf jdk-8u201-linux-x64.tar.gz -C /opt/soft/

tar -zxvf hadoop-2.7.7.tar.gz -C /opt/soft/

（9）修改环境变量：

vi /etc/profile

（10）在文件最后添加：

（11）刷新配置文件

source /etc/profile

（12）查看jdk、hadoop版本

（13）修改主机名：

hostnamectl set-hostname hadoop1

（14）添加地址与主机名的映射

vi /etc/hosts

（15）设置免密：

6.修改hadoop配置

（1）在hadoop2.7.7文件下创建tmp name data三个文件夹

（2）修改配置文件

cd /opt/soft/hadoop-2.7.7/etc/hadoop

vi hadoop-env.sh

找到如下内容修改JAVA_HOME:

（3）修改core-site.xml

（4）修改hdfs-site.xml

（5）修改mapred-site.xml

先修改名字：

mv mapred-site.xml.template mapred-site.xml

再修改mapred-site.xml配置

（6）修改yarn-site.xml

7.启动hadoop

（1）第一次启动需要格式化，在hadoop-2.7.7目录下：

./bin/hdfs namenode -format

（2）启动hdfs

（3）启动yarn

8.测试hadoop

（1）启动完成，通过浏览器测试hdfs：输入192.168.129.100:50070

（2）测试yarn:输入192.168.129.100:8088