HDFS 单节点安装流程

  1. 环境配置

    硬件配置: 节点为虚拟机
    CPU:不涉及(宿主机cpu为 Intel I7 6700K)
    内存:2G

    硬盘:8G

    操作系统:

Hadoop版本: hadoop-3.1.3

  1. 解压安装包

将下载好的二进制包解压到任意目录,我的是放置到了home目录
image.png

  1. 配置修改

hadoop 是免安装的,将hadoop的二进制包下载下来后,理论上将一些配置文件配置好,解压开就能运行。在运行前所做的配置如下几步,后续配置文件以及命令以centos的为准,不同发行版本些区别,以实际的为准。

3.1 修改hosts文件

/etc/hosts
我的hosts文件如下,其中ip是节点ip。

[root@node4 hadoop-3.1.3]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.16 node4

3.2 修改环境变量
image.png
其中需要设置 java的路径,hadoophome的路径

3.3 修改hadoop的配置文件

  1. 修改etc/hadoop/hadoop-env.sh

设置java home和hadoop home的路径
image.png
2.修改 etc/hadoop/core-site.xml

设置fs地址为本节点
image.png
3.修改 etc/hadoop/hdfs-site.xml

设置namenode数据保存目录,设置datanode block块数据保存目录,设置副本数
image.png

4.启动验证
格式化namenode

 hdfs namenode -format

分别启动datanode,namenode

 sbin/hadoop-daemon.sh start datanode

 sbin/hadoop-daemon.sh start namenode

最后通过jps查看datanode和namenode进程是否存在
image.png

执行命令:hdfs dfs -mkdir /testdir hdfs dfs -ls / 验证功能是否可用
image.png
至此,单机版本的hdfs搭建完成。

阅读 124

推荐阅读