hive入门

＝＝＝＝＝hive入门＝＝＝＝＝

1. 概念

Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive
主要面向查询操作，一般不进行删除和更新操作，因为hive处理的数据一般都是历史数据
hive允许开发者自定义mapreduce处理复杂的分析工作
hive是SQL解析引擎，它将SQL转换成M/R　程序，然后在hadoop执行
hive的表和数据其实就是hdfs的目录和文件
hdfs日志文件（数据源）－－　mapreduce将结构投影到已存储数据上(解析引擎)　－－　命令行工具和JDBC使用SQL（数据统计）
数据仓库：数据仓库是一个面向主题的，集成的，不可更新的，随时间不变化的数据集合，它用于支持企业或者组织的决策分析处理
hive和hbase区别
- Hive适合用来对一段时间内的数据进行分析查询or统计查询，例如，用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果
- Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。HBase可以用来进行实时查询，
- 数据也可以从Hive写到Hbase，设置再从Hbase写回Hive。

2. hive的体系结构

hive的元数据
- hive将元数据存储在数据库（metastore）中，支持mysql,derby,oracle数据库，默认使用内置derby数据库（只支持单链接）
- hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否外部表），表的数据所在的目录等
hadoop
- 用hdfs进行存储，利用mapreduce进行计算

3. hive的安装

环境要求：
- jdk并配置环境变量
- mysql安装并启动用来做元数据存储（内嵌的derby数据库只支持单链接）
- hadoop安装并启动(支持单机环境，伪分布模式，集群模式)
下载wget安装包.tar.gz并解压tar -zxvf xxx.tar.gz -C /home
将mysql驱动配置到hive的classpath目录下，上传放到$HIVE_HOME/lib目录即可,要注意驱动和mysql版本对应

修改配置文件$HIVE_HOME/conf

    HADOOP_HOME=/home/hadoop-standalone/hadoop-2.9.0
    export HIVE_CONF_DIR=/home/apache-hive-2.3.2-bin/conf

    <configuration>
        <property>
            <name>javax.jdo.option.ConnectionURL</name> 
            <value>jdbc:mysql://172.18.113.120:3306/hive?createDatabaseIfNotExist=true</value> 
        </property> 
        <property> 
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>root</value>
        </property>
        <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>123456</value>
        </property>
        <property>
                <name>hive.server2.webui.host</name>
                <value>master</value>
        </property>
        <property>
                <name>hive.server2.webui.port</name>
                <value>10002</value>
        </property>
    </configuration>

格式化hdfs存储目录

$ $HADOOP_HOME/bin/hadoop fs -mkdir       /tmp
$ $HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /tmp
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /user/hive/warehouse

init元数据存储仓库

$ $HIVE_HOME/bin/schematool -dbType <db type> -initSchema

4. hive之CLI命令行方式

两种启动方式：

1.）直接输出$HIVE_HOME/bin/hive执行程序
2.）$HIVE_HOME/bin/hive --service cli

（-S 进入静默模式　-e　＇命令＇不进入交互模式，直接执行命令）

常用的CLI命令(每个命令必须已分号结尾作为命令结束符,--开头是注释)
- 退出命令行　quit
- 查看数据库　show databases
- 查看表　　　show tables
- 查看表结构　desc 表名
- 查看内置函数　show functions
- 查看hdfs上文件　dfs -ls 目录
- 执行操作系统的命令　！命令
- 执行sql语句　　　　select 语句
- 执行sql脚本文件　　source sql文件
hive远程服务启动方式
- 端口号10000
- 启动方式：hive --service hiveserver2 &
- jdbc或者odbc远程登录数据仓库对数据进行操作，必须启动远程服务以供连接

5. hive数据类型

hive数据类型有一下5种

* 数字类型
* 时间类型
* 字符串类型
* 其他类型
* 复杂类型

数字类型
- TINGINT（1字节有符号整数，从-128至127）
- SMALLINT（2字节有符号整数，从-32,768至32,767）
- INT/ INTEGER（4字节有符号整数，从-2,147,483,648到2,147,483,647）
- BIGINT（8字节符号整数，从-9,223,372,036,854,775,808至9,223,372,036,854,775,807）
- FLOAT（4字节单精度浮点数）
- DOUBLE（8字节双精度浮点数）
- DECIMAL (可以自定义精度和范围)
- NUMERIC
日期/时间类型
- TIMESTAMP（注意：只能从Hive 0.8.0开始）
- DATE（注意：只能从Hive 0.12.0开始）
- INTERVAL（注意：只能从Hive 1.2.0开始）
字符串类型
- STRING
- VARCHAR
- CHAR
其他类型
- BOOLEAN
- BINARY

复杂类型

1. ARRAYS<data_type>  　　　　　数组类型，由一系列相同数据类型元素组成
2. MAPS<primitive_type,data_type>　　　集合类型，包看key-value键值对，可以通过key来访问元素
3. STRUCT<col_name : data_type [COMMENT col_comment], ...>　结构类型，可以包含不同数据类型元素，通过点语法获取元素
4. union: UNIONTYPE<data_type, data_type, ...> (Note: Only available starting with Hive 0.7.0.)

创建表，使用数据类型

        创建一张表，包含基本数据类型

        create table t_user
            (u_id int,
            u_name string,
            married boolean,
            salary double,
            birthday date
            ); -- 这里不能创建user表，换个表名t_user

        创建一张表，包含数组类型

        create table student (sid int,sname string,project array<string>); 

        -- {1,"tom",["语文"，＂数学＂，＂英语＂]}

        创建一张表，包含map数据类型

        create table stu2(id int,name string,project map<string,float>);

        -- {1,"tom",<'大学语文',65>}


        创建一张表，用array<map<string,float>>

        create table stu3(id int,name string,grades array<map<string,float>>);

        -- {1,'tom',[<'语文',85>,<'数学',85>]


        创建一张表，包含struct数据类型

            create table stu4(id int,info struct <name:string,age:int,sec:string>);

            --{1,{'tom',10,'男'}}

6. hive的数据存储

基于hdfs
没有专门的数据存储格式
存储结构主要包括：数据库，文件，表，视图
可以直接加载文本文件（．txt文件等）
创建表时，指定hive数据的列分隔符和行分隔符
表分类:内部表，分区表，外部表，桶表　＋　视图

内部表
- 概念：
  - 与数据库中的table在概念上是类似的
  - 每一个table在hive中都有一个相应的目录存储数据,默认在/usr/hive/warehouse目录下，可以指定任何其他目录
  - 所有的table不包括外部表，都保存在这个目录中
- 创建表例子
  - create table t1(id int,name string,age int); -- 默认在/usr/hive/warehouse目录下
  - create table t1(id int,name string,age int) location '/mytable/hive/t2'; -- 指定数据在hdfs上的存储位置
  - create table t1(id int,name string,age int) row format delimited fields terminated by ','; -- 指明列分隔符，默认列与列之间没有任何分隔符
  - create table t1 as select * from t2 row format delimited fields terminated by ','; -- 从一个表中的数据创建表并导入数据
  - alter table t1 add columns(english int); -- 添加列
分区表（partition)
- 概念
  - partition对应于数据库的partition列的密集索引（例如按照性别男女分成两个区）
  - 在hive中，表的一个partition对应与标下的一个目录，所有的partition的数据都存储在对应的目录中
- 案例
  - create table t1(id int,name string) partitioned by (gender string) row format delimited fields terminated by ','; -- 按照gender列分区
  - insert into table t1 partition(gender='nan') select id,name from t2 where gender='nan';
外部表
- 概念
  - 指向已近在hdfs中存在的数据，可以创建partition
  - 它和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异
  - 外部表只有一个过程，加载数据和创建表同事完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接，当删除一个外部表时，仅删除改链接
- 例子
  - create external table t1 (id int,name string) row format delimited fields termicated by ',' location '/input'; //对hdfs中已近存在的目录和文件创建一个链接

hive入门

＝＝＝＝＝hive入门＝＝＝＝＝

1. 概念

2. hive的体系结构

3. hive的安装

4. hive之CLI命令行方式

5. hive数据类型

6. hive的数据存储

wums

引用和评论

kafka stream的自定义时间段窗口实现

手把手教你搭建DataEase二次开发环境(Windows)

数据资产管理实施路径盘点，一文读懂如何建设企业数据资产管理体系

Dolphinscheduler IDEA本地调试

七猫如何用 StarRocks 打造用户增长新引擎?

Flink CDC：新一代实时数据集成框架

饿了么基于Flink+Paimon+StarRocks的实时湖仓探索