Hadoop开发插件安装

Hadoop开发插件安装

实验环境

·操作机：Windows 7

实验工具

·Web浏览器：常用的有谷歌浏览器，火狐浏览器等

·Eclipse:Mars.1 Release (4.5.1)

实验内容

在eclipse下安装hadoop的插件，同步对hadoop进行管理和开发。Hadoop是一个强大的并行软件开发框架，它可以让任务在分布式集群上并行处理，从而提高执行效率。但是，它也有一些缺点，如编码、调试Hadoop程序的难度较大，这样的缺点直接导致开发人员入门门槛高，开发难度大。因此，Hadop的开发者为了降低Hadoop的难度，开发出了Hadoop Eclipse插件，它可以直接嵌入到Hadoop开发环境中，从而实现了开发环境的图形界面化，降低了编程的难度。

本实验在windows环境下的eclipse进行hadoop插件的安装，测试。

实验步骤

1.Hadoop软件包的获取

（1）官网下载:https://www.apache.org/dyn/cl...

本实验下载了2.7.7版本

（2）解压到E:\javaApps\目录下

2.配置hadoop在本地的环境变量

（1）从桌面电脑图标右键进入“属性”界面，选择“高级系统配置”，选择“环境变量”，然后选择“系统变量”下的新建，添加一个HADOOP_HOME的变量，变量值为HADOOP安装路径（能够看到bin文件夹的路径）

（2）往系统变量Path里追加“；HADOOP_HOME\bin”，注意：win10系统按照以下格式添加，win7应该是字符串格式，如果没有分号一定要自己补上！

3.Hadoop插件安装和配置

（1）下载hadoop2.7.3版本的插件

下载地址：https://github.com/madengwei/hadoop-2.7.3-eclipse-plugin/raw/master/release/hadoop-eclipse-plugin-2.7.3.jar

（2）将下载的jar放到安装的Eclipse目录下的plugins子目录下

（3）重启eclipse，在Windows->Perferences可看到安装好了hadoop插件，选择下载在本地的hadoop路径，确定。

（4）点击Windows—> show view —> Other，选择MapReduce Tools下的Map/Reduce Locations，打开工具视图

1.（5）在右边有个小象的标注，点击进行配置

其中，Location name自定义名称，配置Map/Reduce Master和DFS Master，Host和Port配置成与core-site.xml的设置一致即可（Host为hadoop节点的hostname，如下图中的2，DFS Master下的port为HDFS端口号，User name为安装Hadoop节点用户名称，如下图中的1）。

4.服务器配置修改

（1）进入hadoop服务器，修改hdfs-site.xml，追加dfs.permissions配置。关闭权限检查。

（2）重启hdfs服务

5.测试插件

（1）在集群上创建文件夹

（2）在eclipse上检验，右键刷新

可以看到刚创建的文件夹。

（3）在eclipse上传文件，右键test文件夹->Upload files to DFS,上传文件到DFS

（4）刷新即可看见

（5）通过浏览器查看dfs，输入(hadoop服务器的ip:50070)，点击Utilities下的Browse the file system即可看到dfs上的内容。