Hadoop集群的部署(一)

喵先生的进阶之路

Hadoop集群的部署分为分布式集群伪分布式集群的部署。这篇文章中,我会对伪分布集群的安装和部署做说明。为什么先进行伪分布式集群部署呢,这是因为它只需要一台虚拟机(因为在自己的电脑上进行部署,使用的就是虚拟机),而分布式集群的部署一般需要三台及以上的虚拟机(一台为主节点,)。

并且,在实际操作的时候,分布式和伪分布式基本是没有区别的,在考虑电脑启动多个虚拟机可能会卡,所以先对伪分布集群进行说明。

伪分布集群的部署

虚拟机准备

首先准备一台虚拟机,我这里使用的是Centos6.x,如果使用其他版本的linux,后面的部分命令会有所不同,自己在实验时需要注意。

配置静态ip和主机名

配置ip

终端输入:

vim /etc/sysconfig/network-scripts/ifcfg-eth0

配置文件:

BOOTPROTO=static
IPADDR=192.168.19.10
GATEWAY=192.168.19.2
NETMASK=255.255.255.0
DNS1=114.114.114.114

image.png

这里需要注意的是,ip地址要对应自己的虚拟机的地址。我这里网络连接使用的是NAT模式。

设置主机名

终端输入:

vim /etc/sysconfig/network

修改HOSTNAME:

image.png

设置ip和主机名的绑定映射

终端输入:

vim /etc/hosts

修改hosts文件:

image.png

重启网络:

service network restart

关闭防火墙

方式1:

service iptables stop

方式二:

chkconfig iptables off

设置ssh免密码登录

ssh hadoop100

image.png

这时会提示输入密码。我们要做的就是实现输入上面的命令的时候,直接连接主机,不用输入密码。

注意:如果上面没有将ip和主机名绑定的话,ssh是不能解析主机的
ssh -keygen -t rsa

后面一路回车就行。这个命令会生成一个公钥和私钥。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

这步会向本机复制一个公钥。

image.png

这样免密就搞定了。

安装jdk

这里首先需要将jdk的安装包传到虚拟机里。可以共享文件,或使用远程连接工具进行上传。这里就不做演示了。

首先先解压,重命名文件为jdk1.8(为了方便):

image.png

然后配置环境变量:

vim /etc/profile
export JAVA_HOME=/opt/jdk1.8
export PATH=.:$JAVA_HOME/bin:$PATH

Hadoop的安装

同样,先上传Hadoop的安装包。

https://archive.apache.org/dist/hadoop/common/

可以在这里找到想要下的所有历史版本。

image.png

然后就需要对Hadoop里面的一些配置做修改了。

1.hadoop-env.sh

先进入Hadoop的配置文件目录:

cd /opt/hadoop-3.2.1/etc/hadoop

修改hadoop-env.sh文件:

vim hadoop-env.sh
export JAVA_HOME=/opt/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop
这里注意,如果没有data目录,需要现在根目录下创建一个。

2.core-site.xml

vim core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop100:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
    </property>
</configuration>
注意:自己的主机名是不是hadoop100,如果不是,修改为自己的。下面的目录hadoop会自己创建,只需要保证有/data目录即可。

3.hdfs-site.xml

vim hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
注意:这个配置表示副本数量,我们这里是伪分布集群,只有一台机器,只允许一个副本。

4.mapred-site.xml

vim mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

他表示mapreduceyarn这个引擎里去执行。

5.yarn-site.xml

vim yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CL
ASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

他表示yarn里面运行mapreduce这个计算引擎,下面的执行环境的一些白名单。

这样一些基本的配置就修改完成。

对hdfs进行格式化

我们先回退到hadoop的根目录下:

image.png

bin/hdfs namenode -format

image.png

注意:格式化只能执行一次,如果因为某些原因格式化失败,建议先进入/data目录下,删掉hadoop_repo,再进行格式化。

修改hadoop启动项

1.start-dfs.sh

vim sbin/start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

2.stop-dfs.sh

vim sbin/stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

3.start-yarn.sh

vim sbin/start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

4.stop-yarn.sh

vim sbin/stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

启动集群

sbin/start-all.sh

image.png

输入jps,如果进程除了JPS外还有5个,说明启动成功。


参考:
https://www.imooc.com/video/20728

阅读 1.5k

朴世超
个人学习总结与项目实战问题记录
336 声望
19 粉丝
0 条评论
你知道吗?

336 声望
19 粉丝
宣传栏