hadoop编译---+2.x编译

hadoop+2.X编译(centos系统)

• 为了是hadoop更兼容当前使用的操作系统 所以介绍下如何编译当前使用平台的hadoop

1.准备软件

• jdk 1.8+
• Maven 3.5.4

• protobuf 2.5.0 (其他版本测试会有问题 建议用2.5.0)

   google的一种数据交换的格式，它独立于语言，独立于平台

• hadoop-2.x.x-src
• ant-1.9.7
• 平台环境 centos 6.7

1.1 jdk安装(略)

1.2 maven安装

• 解压

• cd /export/software/
  tar -zxvf apache-maven-3.5.4-bin.tar.gz  -C ../servers/
  cd /export/servers/
  mv apache-maven-3.5.4 maven-3.5.4/

• 修改环境变量

• vim /etc/profile
  添加以下变量
  #maven
  export M2_HOME=/export/servers/maven-3.5.4
  export PATH=$PATH:$M2_HOME/bin

• 添加阿里源()

• 查找mirrors 标签
  <mirrors>
      
  <mirror>
          <id>alimaven</id>
          <name>aliyun maven</name>
          <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
          <mirrorOf>central</mirrorOf>
  </mirror>
      
  </mirrors>

1.3protobuf安装

• 官方github的安装教程

• yum install glibc-headers
  yum install gcc-c++ 
  yum  install  gcc
  yum install  make 
  
  yum -y install autoconf automake
  yum -y install zlib zlib-devel openssl openssl-devel pcre-devel
  

• 解压

• tar -zxvf protobuf-2.5.0.tar.gz

• 编译

• cd  /protobuf-2.5.0
  ./ configure
  make
  make  install

• 测试

• protoc  --version

1.4CMake安装

• yum  install  cmake     
  yum  install  openssl-devel
  yum  install rses-devel

1.5 ant安装

• 解压

• tar -zxvf  apache-ant-1.9.4-bin.tar.gz

• 配置变量

• vim /etc/profile
  
  export ANT_HOME=/export/servers/apache-ant-1.9.7
  export PATH=$PATH:$ANT_HOME/bin
  
  source /etc/profile

• 测试

• ant  -version

2 编译hadoop

• 解压hadoop

• tar -zxvf hadoop-2.7.5-src.tar.gz

• 查看环境要求

• cd hadoop-2.7.5-src
  vim BUILDING.txt
  
  东西太多自己看吧

• 编译

• cd hadoop-2.7.5-src
  mvn package -Pdist,native -DskipTests -Dtar
  或者
  mvn  package -DeskipTests -Pdist,native

• 等待结果

• cd 

• 同样在刚刚进行编译的那个目录下，有一个
  hadoop-dist文件夹，进入里面的target文件夹，然后就可以看到编译成功64位的hadoop文件，解压后的在
  hadoop-2.5.2 这个文件夹中，同时还生成了一个压缩包：hadoop-2.5.2-tar.gz 这个压缩包可以拷贝到别的centos-6.7机器上进行安装