`
yugouai
  • 浏览: 498473 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

HIVE原生和复合类型的数据加载和使用

 
阅读更多

原生类型

原生类型包括TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY (Hive 0.8.0以上才可用),TIMESTAMP (Hive 0.8.0以上才可用),这些数据加载很容易,只要设置好列分隔符,按照列分隔符输出到文件就可以了。

假设有这么一张用户登陆表

复制代码
CREATE TABLE login (
  uid  BIGINT,
  ip  STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
复制代码

这表示登陆表ip字段和uid字段以分隔符','隔开。

输出hive表对应的数据

# printf "%s,%s\n" 3105007001 192.168.1.1 >> login.txt
# printf "%s,%s\n" 3105007002 192.168.1.2 >> login.txt

login.txt的内容:

# cat login.txt                                                                                                                        
3105007001,192.168.1.1
3105007002,192.168.1.2

加载数据到hive表

LOAD DATA LOCAL INPATH '/home/hadoop/login.txt' OVERWRITE INTO TABLE login PARTITION (dt='20130101'); 

查看数据

select uid,ip from login where dt='20130101';
3105007001    192.168.1.1
3105007002    192.168.1.2

 

array

假设登陆表是

复制代码
CREATE TABLE login_array (
  ip  STRING,
  uid  array<BIGINT>
)
PARTITIONED BY (dt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '|'
STORED AS TEXTFILE;
复制代码

这表示登陆表每个ip有多个用户登陆,ip和uid字段之间使用','隔开,而uid数组之间的元素以'|'隔开。

 

输出hive表对应的数据

# printf "%s,%s|%s|%s\n" 192.168.1.1 3105007010 3105007011 3105007012 >> login_array.txt
# printf "%s,%s|%s|%s\n" 192.168.1.2 3105007020 3105007021 3105007022 >> login_array.txt

login_array.txt的内容:

cat login_array.txt                                                                                                                    
192.168.1.1,3105007010|3105007011|3105007012
192.168.1.2,3105007020|3105007021|3105007022

 

加载数据到hive表

LOAD DATA LOCAL INPATH '/home/hadoop/login_array.txt' OVERWRITE INTO TABLE login_array PARTITION (dt='20130101'); 

 

查看数据

select ip,uid from login_array where dt='20130101';
192.168.1.1    [3105007010,3105007011,3105007012]
192.168.1.2    [3105007020,3105007021,3105007022]

使用数组

select ip,uid[0] from login_array where dt='20130101'; --使用下标访问数组

select ip,size(uid) from login_array where dt='20130101'; #查看数组长度

select ip from login_array where dt='20130101'  where array_contains(uid,'3105007011');#数组查找

更多操作参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-CollectionFunctions

 

map

假设登陆表是

复制代码
CREATE TABLE login_map (
  ip  STRING,
  uid  STRING,
  gameinfo map<string,bigint>
)
PARTITIONED BY (dt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '|'
MAP KEYS TERMINATED BY ':'
STORED AS TEXTFILE;
复制代码

这表示登陆表每个用户都会有游戏信息,而用户的游戏信息有多个,key是游戏名,value是游戏的积分。map中的key和value以'':"分隔,map的元素以'|'分隔。 

 

输出hive表对应的数据

# printf "%s,%s,%s:%s|%s:%s|%s:%s\n" 192.168.1.1  3105007010 wow 10 cf 1 qqgame 2  >> login_map.txt
# printf "%s,%s,%s:%s|%s:%s|%s:%s\n" 192.168.1.2  3105007012 wow 20 cf 21 qqgame 22  >> login_map.txt

 

login_map.txt的内容:

# cat login_map.txt
192.168.1.1,3105007010,wow:10|cf:1|qqgame:2
192.168.1.2,3105007012,wow:20|cf:21|qqgame:22

 

 

加载数据到hive表

LOAD DATA LOCAL INPATH '/home/hadoop/login_map.txt' OVERWRITE INTO TABLE login_map PARTITION (dt='20130101'); 

 

查看数据

select ip,uid,gameinfo from login_map where dt='20130101';
192.168.1.1    3105007010    {"wow":10,"cf":1,"qqgame":2}
192.168.1.2    3105007012    {"wow":20,"cf":21,"qqgame":22}

 

使用map

select ip,uid,gameinfo['wow'] from login_map where dt='20130101'; --使用下标访问map

select ip,uid,size(gameinfo) from login_map where dt='20130101'; #查看map长度

select ip,uid from login_map where dt='20130101'  where array_contains(map_keys(gameinfo),'wow');#查看map的key,找出有玩wow游戏的记录

更多操作参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-CollectionFunctions

 

struct

假设登陆表是

复制代码
CREATE TABLE login_struct (
  ip  STRING,
  user  struct<uid:bigint,name:string>
)
PARTITIONED BY (dt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '|'
MAP KEYS TERMINATED BY ':'
STORED AS TEXTFILE;
复制代码

user是一个struct,分别包含用户uid和用户名。

 

输出hive表对应的数据

printf "%s,%s|%s|\n" 192.168.1.1  3105007010 blue  >> login_struct.txt
printf "%s,%s|%s|\n" 192.168.1.2  3105007012 ggjucheng  >> login_struct.txt

 

 

login_struct.txt的内容:

# cat login_struct.txt
192.168.1.1,3105007010,wow:10|cf:1|qqgame:2
192.168.1.2,3105007012,wow:20|cf:21|qqgame:22

 

 

加载数据到hive表

LOAD DATA LOCAL INPATH '/home/hadoop/login_struct.txt' OVERWRITE INTO TABLE login_struct PARTITION (dt='20130101'); 

 

查看数据

select ip,user from login_struct where dt='20130101';
192.168.1.1    {"uid":3105007010,"name":"blue"}
192.168.1.2    {"uid":3105007012,"name":"ggjucheng"}

 

使用struct

select ip,user.uid,user.name from login_map where dt='20130101'; 

 

union

用的比较少,暂时不讲

 

嵌套复合类型

之前讲的array,map,struct这几种复合类型,里面的元素都是原生类型,如果元素是复合类型,那该怎么加载数据呢。

假设登陆表是

复制代码
CREATE TABLE login_game_complex (
  ip STRING,
  uid STRING,
  gameinfo map<bigint,struct<name:string,score:bigint,level:string>> ) 
PARTITIONED BY (dt STRING) 
ROW FORMAT DELIMITED 
STORED AS TEXTFILE;
复制代码

这表示登陆表每个用户都会有游戏信息,而用户的游戏信息有多个,key是游戏id,value是一个struct,包含游戏的名字,积分,等级。

这种复杂类型的入库格式很麻烦,而且复合嵌套层次很多时,要生成的正确的格式也比较复杂,很容易出错。这里稍微提下,在嵌套层次多的情况下,分隔符会会随着复合类型嵌套层次的递增,分隔符默认会以\0,\1,\2....变化。

这里不介绍从shell下生成文件load data入库,感兴趣的同学,可以看看hive的源代码的org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe的serialize方法。

这里介绍使用另一种数据操作方式:insert,先把一个简单的表的数据,加载load到hive,再使用insert插入数据到一个嵌套复杂类型的表。

 

创建简单的表

复制代码
CREATE TABLE login_game_simple (
  ip STRING,
  uid STRING,
  gameid bigint,
  gamename string,
  gamescore bigint,
  gamelevel string 
) 
PARTITIONED BY (dt STRING) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
复制代码

生成login_game_simple.txt的内容:

复制代码
192.168.1.0,3105007010,1,wow,100,v1
192.168.1.0,3105007010,2,cf,100,v2
192.168.1.0,3105007010,3,qqgame,100,v3
192.168.1.2,3105007011,1,wow,101,v1
192.168.1.2,3105007011,3,qqgame,101,v3
192.168.1.2,3105007012,1,wow,102,v1
192.168.1.2,3105007012,2,cf,102,v2
192.168.1.2,3105007012,3,qqgame,102,v3
复制代码

load data到hive后,再生成复杂的gameinfo map结构,插入到表login_game_complex

INSERT OVERWRITE TABLE login_game_complex PARTITION (dt='20130101')  
select ip,uid,map(gameid, named_struct('name',gamename,'score',gamescore,'level',gamelevel) ) FROM login_game_simple  where dt='20130101' ;

 

查询数据

复制代码
select ip,uid,gameinfo from login_game_complex where dt='20130101';
192.168.1.0    3105007010    {1:{"name":"wow","score":100,"level":"v1"}}
192.168.1.0    3105007010    {2:{"name":"cf","score":100,"level":"v2"}}
192.168.1.0    3105007010    {3:{"name":"qqgame","score":100,"level":"v3"}}
192.168.1.2    3105007011    {1:{"name":"wow","score":101,"level":"v1"}}
192.168.1.2    3105007011    {3:{"name":"qqgame","score":101,"level":"v3"}}
192.168.1.2    3105007012    {1:{"name":"wow","score":102,"level":"v1"}}
192.168.1.2    3105007012    {2:{"name":"cf","score":102,"level":"v2"}}
192.168.1.2    3105007012    {3:{"name":"qqgame","score":102,"level":"v3"}}
复制代码

这里只是演示了嵌套复杂类型的入库方式,所以这里只是例子。真正要完美入库,还是需要写一个自定义函数,根据ip和uid做group by,然后把gameinfo合并起来。hive没有这样的自定义函数,篇幅着想,不引进复杂的自定义函数编写。

分享到:
评论

相关推荐

    hive复合类型使用

    列举了hive中的复合类型的使用,map array struct

    Hive复杂数据类型使用介绍

    Hive复杂数据类型使用介绍 Hive作为一个大数据分析工具,提供了多种数据类型,其中包括了复杂数据类型如Array、Map和Struct。这些复杂数据类型可以满足各种复杂的数据存储需求。 一、Array类型 Array类型是Hive中...

    大数据 hive 实战数据

    在实际操作中,我们可能会使用Hive进行ETL(Extract, Transform, Load)过程,从原始数据中抽取、转换并加载到Hive表中。然后通过HQL进行数据探索、统计分析、报表生成等任务。此外,Hive还支持与其他大数据组件如...

    基于SpringBoot+hiveJDBC+echarts的数据大屏可视化和大数据分析源码+项目使用说明.zip

    基于SpringBoot+hiveJDBC+echarts的数据大屏可视化和大数据分析源码+项目使用说明.zip 【项目介绍】 使用Hadoop技术可快速生成分析结果,对6万条美妆销售数据分析,将数据转化为有价值的数据。 在Centos7中搭建 ...

    Hive metastore 使用达梦数据库存储元数据

    《Hive metastore 使用达梦数据库存储元数据详解》 在大数据处理领域,Hive作为一个分布式数据仓库工具,被广泛用于存储和管理大规模结构化数据。Hive的元数据是其核心组成部分,它包含了表、分区、列等信息,使得...

    《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf

    《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第...

    项目实战——钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量(Java版本)

    此篇文章主要选取关键性指标,数据校验数据源Hive和目标ES内的数据是否一致; 因为你不知道将Hive的数据导入到了ElasticSearch后,数据量是否准确,所以需要钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量,...

    hive数据加载导出查询

    ### Hive 数据加载与导出详解 ...通过以上的步骤,我们可以看到 Hive 提供了多种方法来加载和导出数据,使得数据处理变得更加灵活和高效。在实际应用中,根据具体需求选择合适的方法是非常重要的。

    基于 Hive的数据分析案例 -MM聊天软件数据分析

    本案例中,我们使用 Hive 对 MM 聊天软件的数据进行分析,了解用户行为和偏好。 知识点二:数据来源和数据获取 数据来源于聊天业务系统中导出的 2021 年 11 月 01 日当天 24 小时的用户聊天数据,共 14 万条数据,...

    hive环境搭建和建表加载数据

    Hive SQL查询中使用了`LATERAL VIEW`关键字,这是Hive中处理复杂数据类型的强大工具。`LATERAL VIEW`与`EXPLODE`函数一起使用,可以将数组或映射中的元素展开成多行,使得每个元素都能在单独的行中展示。比如,在...

    利用Hive进行复杂用户行为大数据分析及优化案例

    利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件+代码+讲义+工具软件),具体内容包括: 01_自动批量加载数据到hive ...16_Hive中使用正则加载数据 17_Hive中使用Python脚本进行预处理

    05.hive数据类型--复合类型--map类型的使用.mp4

    05.hive数据类型--复合类型--map类型的使用.mp4

    sqoop导入数据到hive中,数据不一致

    当使用Sqoop将数据导入Hive时,可能出现的问题包括数据类型不匹配、空值处理、数据格式错误等。 1. 数据类型不匹配:数据库中的字段类型与Hive表定义的字段类型不一致可能导致数据导入后出现异常。例如,数据库中的...

    06.hive数据类型--复合类型--struct结构类型的使用.mp4

    06.hive数据类型--复合类型--struct结构类型的使用.mp4

    《Hive数据仓库案例教程》教学大纲.pdf

    3. **Hive基础**:本章涉及Hive的数据类型、运算符、数据存储方式和存储格式,以及常用的交互命令。学习者需要掌握不同数据类型的操作,理解Hive的数据存储机制,如TextFile、SequenceFile、Orc和Parquet等。 4. **...

    java解决hive快速导数据到Hbase代码

    在大数据处理领域,Hive和HBase是两个重要的组件,分别用于数据仓库和实时数据分析。本文将详细讨论如何使用Java编程语言实现从Hive到HBase的快速数据导入方案。 首先,Hive是一个基于Hadoop的数据仓库工具,它可以...

    电影票房数据分析-hive代码

    Hive支持多种数据类型,包括String、Integer、Float、Double、Boolean等。在该资源中,我们使用String类型来存储电影名称、票房数据等信息。 知识点3:Hive表创建 在Hive中,创建表需要指定表名、字段名、字段类型...

    spring-boot集成mybtis+druid实现hive/mysql多数据源切换

    本文将详细讨论如何使用Spring Boot、MyBatis和Druid来实现MySQL与Hive之间的多数据源切换,以满足不同业务场景的需求。 首先,Spring Boot是Spring框架的一种轻量级实现,它简化了配置并提供了快速开发新应用的...

    hive 双分区外部表 复合数据结构 样例

    hive双分区外部表复合数据结构博客的数据资料,欢迎下载。

Global site tag (gtag.js) - Google Analytics