cdh安装

EVAO_大个子

1. 准备服务器

  • 机器要求(8g+ , 4core)
  • 安装centeros 原生minal版本操作系统
  • 开启网络和开机自启(因为minal版的操作系统网卡开机不是自动启动的)
  • 安装常用软件

    yum -y install gcc  gcc-c++  vim  wget  openssh-clients   ntp   lsof
  • 克隆机器

    cdh-server  cdh01  cdh02  ch03  cdh04  cdh05
  • 免密码登录

    cdh-server(10.10.10.200)----免密登录---->cdh-server(10.10.10.200)
    cdh-server(10.10.10.200)----免密登录---->cdh01(10.10.10.201)
    cdh-server(10.10.10.200)----免密登录---->cdh02(10.10.10.202)
    cdh-server(10.10.10.200)----免密登录---->cdh03(10.10.10.203)
    cdh-server(10.10.10.200)----免密登录---->cdh04(10.10.10.204)
    cdh-server(10.10.10.200)----免密登录---->cdh05(10.10.10.205)

2. cdh集群搭建的准备工作

  • 准备6个机器

    cdh-server   6gb内存  30gb硬盘   4核
    cdh01    6gb内存  30gb硬盘   4核
    cdh02    6gb内存  30gb硬盘   4核
    cdh03    6gb内存  30gb硬盘   4核
    cdh04    6gb内存  30gb硬盘   4核
    cdh05    6gb内存  30gb硬盘   4核
  • 关闭防火墙和开机自启(所有机器都要做)

    service iptables stop
    chkconfig  iptables  off    
  • 开启时间同步服务器(所有机器都要做)

    service ntpd start
    chkconfig ntpd on
  • 关闭linux的selinux服务(所有机器都要做)

    vim  /etc/selinux/config
        #SELINUX=enforcing    
        SELINUX=disabled
  • 安装jdk(所有机器都要做)

    ​ .......

  • 安装mysql数据库(任意一个机器即可)

    1>安装数据库
        yum -y install mysql-server
    
    2>启动数据库服务
        service mysqld start
    
    3>设置开机自启        
        chkconfig mysqld on
    
    4>登录到mysql
        mysql -uroot -p
    
    5>设置mysql的密码            
        set password=password('root');
    
    6>刷新权限        
        flush privileges    
    
    7>开启远程登录的权限
        use mysql;
        delete from user where password='';
        update user set host='%' where user='root';
        flush privileges
  • 设置/proc/sys/vm/swappiness为0。(所有机器都做)

    因为CDH运行需要消耗大量的内存,默认值为60,也就是说当内存使用到100-60=40%的时候,就开始出现有交换分区的使用。
    大家知道,内存的速度会比磁盘快很多,这样子会加大系统io,同时造的成大量页的换进换出,严重影响系统的性能,所以我们在操作系统层面,
            要尽可能使用内存,对该参数进行调整。
                调整:
                    vim /etc/sysctl.conf
                    添加内容
                        vm.swappiness=0
                    重启可以生效,当然也可以激活:
                        sysctl -p
  • 关闭THP(所有机器都做)

    echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
    echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
    echo never > /sys/kernel/mm/transparent_hugepage/enabled
    echo never > /sys/kernel/mm/transparent_hugepage/defrag

3. 安装cloudera manager(cm)

  • 准备cm的安装包

    [root@cdh-server opt]
        cloudera-manager-el6-cm5.6.1_x86_64.tar.gz
  • 解压clouder-manager(cm)

    [root@cdh-server opt]
        tar -zxvf cloudera-manager-el6-cm5.6.1_x86_64.tar.gz  -C /opt/
  • 修改agent配置文件

    vim /opt/cm-5.6.1/etc/cloudera-scm-agent/config.ini
        
            server_host=cdh-server
  • 拷贝mysql驱动

    [root@cdh-server opt]
        将mysql的驱动jar包拷贝到/opt/cm-5.6.1/share/cmf/lib/ 中做CM初始化元数据库使用
  • 初始化cm元数据库

    [root@cdh-server opt]
        /opt/cm-5.6.1/share/cmf/schema/scm_prepare_database.sh mysql cm -uroot -proot  -hcdh05  -P3306 --scm-host cdh-server scm scm scm
  • 把cdh-server上的cm安装目录拷贝到其他机器

    [root@cdh-server opt]
        scp -r /opt/cm-5.6.1 root@cdh01:/opt/
        scp -r /opt/cm-5.6.1 root@cdh02:/opt/
        scp -r /opt/cm-5.6.1 root@cdh03:/opt/
        scp -r /opt/cm-5.6.1 root@cdh04:/opt/
        scp -r /opt/cm-5.6.1 root@cdh05:/opt/
  • 在所有节点创建cloudera-scm用户

    useradd --system --home=/opt/cm-5.6.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
  • 配置环境变量(所有机器都要做)

    export PATH=$PATH:/opt/cm-5.6.1/etc/init.d
    
    #使环境变量生效
    source /etc/profile.d/cdh-env.sh
  • 启动相应的服务

    cdh-uplooking-server   ===>clouder-scm-server start
    cdh-uplooking01   ===>clouder-scm-agent start
    cdh-uplooking02   ===>clouder-scm-agent start
    cdh-uplooking03   ===>clouder-scm-agent  start
    cdh-uplooking04   ===>clouder-scm-agent start
    cdh-uplooking05   ===>clouder-scm-agent start
  • 端口使用情况

    webui的端口为:cdh-server的7180
    内部通信的端口为: cdh-server的7182
  • 通过webui可以访问我们的cm

    cdh-server:7180
    #只要能进入登录界面就好 先不要开始安装

4. 开始安装cdh集群

  • 准备cdh安装包

    [root@cdh-server parcel-repo]    
        将CDH5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(parcel-repo目录不存在的话需要手动创建)
    
    cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/
    cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha
    cp /soft/manifest.json /opt/cloudera/parcel-repo/
    
    #注意,在/opt/cloudera/parcel-repo/目录下一定要.sha1后缀名改为.sha,不然系统不识别离线安装包,还会从网络中下载
  • 开始安装

    http://cdh-server:7180
阅读 1.4k
67 声望
5 粉丝
0 条评论
67 声望
5 粉丝
文章目录
宣传栏