hive导入数据的三种方式

首先我们在hive中要建好一个表,这里用比较难的方式来假设,假设是外部表并且是分区表stg.test,按bus_date(string)分区。

方式一:上传数据后修复

首先上传数据到HDFS中:

hadoop fs -mkdir -p /user/hive/warehouse/stg/test/bus_date=20191101 #创建文件夹
hadoop fs -put /opt/datas/test.txt(要上传的文件)  /user/hive/warehouse/stg/test/bus_date=20191101(上传的目标文件夹);

查询刚才上传的数据:

select * from stg.test where bus_date='20191101';

发现是查不到数据的,然后执行执行修复命令

hive> msck repair table stg.test;

再次查询数据发现有了。

方式二:上传数据后添加分区

首先上传数据到HDFS中:
如方式1.

接着执行添加分区命令

alter table stg.test add partition(bus_date='20191101')

然后查询数据发现有了。
目前抽数常用的方式就是这种,因为执行sql语句并且传递脚本其他部分也要使用的参数:包括库名、表名、分区字段名、分区字段值这四个参数。

方式三:创建文件夹后load数据到分区

首先创建目录:
如方式1的第一句代码。

然后上传数据:

load data local inpath '/opt/datas/test.txt' into table stg.test partition(bus_date='20191101');

最后查询数据也有了。如果直接上传不采用脚本的话,这种方式是最快的。最适合一次性使用。所以我也用了这种方式从其他服务器上导入csv文件。

阅读 933

推荐阅读
目录