5.Sqoop

介绍：

sqoop是一个用来完成Hadoop和关系型数据库的数据相互转移的工具 将（mysql,oracle,postgre等）中的数据导入hadoop的HDFS 也可反向导入 配置到master机器即可

1.将sqoop解压到/opt/sqoop下

2.配置Sqoop

1.配置mysql连接器
将mysql-connector-jar-5.1.27中的mysql-connector-jar.5.1.27-bin.jar 放入sqoopd/lib目录下

    $cp mysql-connector-java-5.1.27-bin.jar /opt/sqoop/lib/

2.配置sqoop环境变量

    $cd /opt/sqoop
    $mv conf/sqoop-env-template.sh conf/sqoop-env.sh
    $vi conf/sqoop-env.sh
    在最后增加以下内容
    export HADOOP_COMMON_HOME=/opt/hadoop

    export HADOOP_MAPRED_HOME=/opt/hadoop

    export HBASE_HOME=/opt/hbase

    export HIVE_HOME=/opt/hive
    

3.配置环境变量

$vi ~/.bash-profile

增加如下内容

#sqoop

export SQOOP_HOME=/opt/sqoop

export PATH=$PATH:$SQOOP/bin

4.启动

$bin/sqoop help

出入如下图内容则为成功

5.测试与mysql连接

1.查看数据库下的所有表

$bin/sqoop list-tables --connect jdbc:mysql://master/test_db?usessl=false --username root -P

2.查询mysql所有数据库

$ bin/sqoop list-databases --connect jdbc:mysql://master/?usessl=false --username root -P

3.执行语句

$ bin/sqoop eval --connect jdbc:mysql://master/test_db?usessl=false --username root -P -query "select * from myclass"

使用eval 去执行query中的sql