hadoop编译---+2.x编译

source

hadoop+2.X编译(centos系统)

  • 为了是hadoop更兼容当前使用的操作系统 所以介绍下如何编译当前使用平台的hadoop

1.准备软件

  • jdk 1.8+
  • Maven 3.5.4
  • protobuf 2.5.0 (其他版本测试会有问题 建议用2.5.0)

     google的一种数据交换的格式,它独立于语言,独立于平台
  • hadoop-2.x.x-src
  • ant-1.9.7
  • 平台环境 centos 6.7

1.1 jdk安装(略)

1.2 maven安装

  • 解压
  • cd /export/software/
    tar -zxvf apache-maven-3.5.4-bin.tar.gz  -C ../servers/
    cd /export/servers/
    mv apache-maven-3.5.4 maven-3.5.4/
  • 修改环境变量
  • vim /etc/profile
    添加以下变量
    #maven
    export M2_HOME=/export/servers/maven-3.5.4
    export PATH=$PATH:$M2_HOME/bin
  • 添加阿里源()
  • 查找mirrors 标签
    <mirrors>
        
    <mirror>
            <id>alimaven</id>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
            <mirrorOf>central</mirrorOf>
    </mirror>
        
    </mirrors>

1.3protobuf安装

  • 官方github的安装教程
  • yum install glibc-headers
    yum install gcc-c++ 
    yum  install  gcc
    yum install  make 
    
    yum -y install autoconf automake
    yum -y install zlib zlib-devel openssl openssl-devel pcre-devel
    
  • 解压
  • tar -zxvf protobuf-2.5.0.tar.gz
  • 编译
  • cd  /protobuf-2.5.0
    ./ configure
    make
    make  install
  • 测试
  • protoc  --version

1.4CMake安装

  • yum  install  cmake     
    yum  install  openssl-devel
    yum  install rses-devel

1.5 ant安装

  • 解压
  • tar -zxvf  apache-ant-1.9.4-bin.tar.gz
  • 配置变量
  • vim /etc/profile
    
    export ANT_HOME=/export/servers/apache-ant-1.9.7
    export PATH=$PATH:$ANT_HOME/bin
    
    source /etc/profile
  • 测试
  • ant  -version

2 编译hadoop

  • 解压hadoop
  • tar -zxvf hadoop-2.7.5-src.tar.gz
  • 查看环境要求
  • cd hadoop-2.7.5-src
    vim BUILDING.txt
    
    东西太多自己看吧
  • 编译
  • cd hadoop-2.7.5-src
    mvn package -Pdist,native -DskipTests -Dtar
    或者
    mvn  package -DeskipTests -Pdist,native
  • 等待结果
  • cd 
  • 同样在刚刚进行编译的那个目录下,有一个
    hadoop-dist文件夹,进入里面的target文件夹,然后就可以看到编译成功64位的hadoop文件,解压后的在
    hadoop-2.5.2 这个文件夹中,同时还生成了一个压缩包:hadoop-2.5.2-tar.gz 这个压缩包可以拷贝到别的centos-6.7机器上进行安装
阅读 839

目标:用半年的时间记录之前两三年中遇到的java问题

24 声望
2 粉丝
0 条评论

目标:用半年的时间记录之前两三年中遇到的java问题

24 声望
2 粉丝
文章目录
宣传栏