hadoop安装

环境

• centos7.4

工具

• Xshell(远程终端模拟)
• FileZilla(给linux传输文件)

准备工作

• 下载jdk1.8
• 安装jdk
• 下载hadoop2.6.5

安装hadoop

1、解压hadoop

通过FileZilla将下载好的hadoop文件传到/usr/local/文件夹下

tar zxvf hadoop-2.6.5.tar.gz     //解压
mv hadoop-2.6.5 hadoop           //重命名为hadoop
vi /etc/profile                  //配置环境变量

在profile文件末尾加以下代码：

vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_HOME=$HADOOP_HOME/etc/hadoop/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使配置文件生效

source /etc/profile  //使配置文件生效

2、修改配置文件

注意目录：不同版本的目录可能不同，我的是在hadoop/etc/hadoop目录下

1. 修改hadoop-env.sh

   vi hadoop-env.sh

   按i进入编辑模式，在最后加入以下内容

   export JAVA_HOME=/usr/local/jdk1.8.0_151

2. 修改yarn-env.sh

   vi yarn-env.sh

   按i进入编辑模式，在最后加入以下内容

   export JAVA_HOME=/usr/local/jdk1.8.0_151

3. 配置core-site.xml

   vi core-site.xml

   按i进入编辑模式在最后加入以下代码

   <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.5.132:9000</value>
    </property>
    <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
    </property>
    <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
    </property> 
   </configuration>

4. 配置yarn-site.xml

   vi yarn-site.xml

   按i进入编辑模式在最后加入以下代码

   <configuration>
   
   <!-- Site specific YARN configuration properties -->
   
   <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
     </property>
     <property>
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
     </property>
     <property>
                <name>yarn.resourcemanager.address</name>
                <value>192.168.5.132:8032</value>
     </property>
     <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>192.168.5.132:8030</value>
     </property>
     <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>192.168.5.132:8035</value>
     </property>
     <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>192.168.5.132:8033</value>
     </property>
     <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>192.168.5.132:8088</value>
     </property>
   </configuration>

5. 修改hdfs-site.xml文件

   vi hdfs-site.xml

   按i进入编辑模式在最后加入以下代码

   <configuration>
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/hdfs/data</value>
    </property>
    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>
    <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.5.132:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property> 
   </configuration>

6. 修改mapred-site.xml

   mv mapred-site.xml.template mapred-site.xml //重命名为mapred-site.xml
   vi mapred-site.xml

   按i进入编辑模式在最后加入以下代码

   <configuration>
   <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
   </configuration>

7. 修改slaves文件

   vi slaves

   按i进入编辑模式后加入以下代码

   192.168.5.132
   192.168.5.133
   192.168.5.134

   都配置完毕之后，将master上的Hadoop文件夹发送到Slaver1、Slaver2上，然后配置对应机器上的环境变量vi /etc/profile

3、格式化Hadoop

/usr/local/hadoop/bin/hadoop namenode -format

4、启动Hadoop集群

start-all.sh
systemctl stop firewalld  //关闭防火墙

浏览器输入ip:50070

浏览器输入ip:8088

这只是一个简单的安装、配置，后续为完善其它信息。
也可以参考：Hadoop<集群搭建Centos7.3+Hadoop2.8.0>