接下来的工作需要用hive来查询hbase中已经存在的表,周末闲下来研究一下,用百度搜了半天,说的都不是很详细,只是有一个简单的建表语句,根本没有说明hbase的table如何和hive建立的table在column级别做映射,没办法,还得用google。
首先来一段建表语句:
create table yourtable(column1 string, column2 int,column3 string)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties("hbase.columns.mapping"=
"yourhbasecolumnfamily1:yourhbasecolumn1,:key,
yourhbasecolumnfamily2:yourhbasecolumn3")
tblproperties("hbase.table.name"="yourhbasetable");
上面这个建表语句表示建立一个hive table 名字叫做yourtable ,同时映射到hbase table 名字叫做 yourhbasetable上,yourtable的column1映射到yourhbasetable的yourhbasecolumnfamily1上的yourhbasecolumn1字段,column2字段是key(备注:个人猜测可能是关联到yourhbasetable的rowkey,如果各位道友有知道的可以评论告知在下,感激不尽),column3字段关联到yourhbasetable的yourhbasecolumnfamily2上的yourhbasecolumn3字段。
以上是建立一个hbase不存在的表,如果hbase已经存在表,应该使用create external table...后面都是一样的 ,使用external 关键字来修饰table 表示关联到hbase中已经存在的表。
分享到:
相关推荐
TBLPROPERTIES ("hbase.table.name" = "hbase_hive_table"); ``` 这里,`STORED BY`指定了HBase的存储处理类,`WITH SERDEPROPERTIES`定义了列族和列的映射,`:key`表示HBase的行键,`cf1:val`和`cf2:val`是列族和列...
被编译的hive-hbase-handler-1.2.1.jar,用于在Hive中创建关联HBase表的jar,解决创建Hive关联HBase时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop....
HIVE和HBASE的整合 HIVE和HBASE是两个不同的数据处理和存储系统,HIVE是一种数据仓库系统,专门用来存储和处理结构化数据,而HBASE是一种NoSQL数据库,专门用来存储和处理半结构化和非结构化数据。由于HIVE和HBASE...
hive和hbase整合的时候,如果出现不兼容的情况需要手动编译:hive-hbase-hander-1.2.2.jar把这个jar替换掉hive/lib里的那个jar包
Scala、Hive与HBase是大数据处理领域中的关键组件,它们在Java开发环境中扮演着重要角色。本压缩包"scala-hive-HBASE-Api.7z"包含了2019年8月至10月间用于工作的相关jar包,主要用于支持Scala、Hive和HBase的集成...
5. **在Hive中创建外部表**:使用Hive的CREATE EXTERNAL TABLE语句,指定表的列名、数据类型,以及HBase的表名、列族和列。例如: ```sql CREATE EXTERNAL TABLE hbase_table (key STRING, column1 STRING, column...
hive0.8.1和hbase0.92.0集成的hive-hbase-handler.Jar包,里面包含:hbase-0.92.0.jar、hbase-0.92.0-tests.jar、hive-hbase-handler-0.9.0-SNAPSHOT.jar。经测试没有问题。
hive和hbase的整合所需要的编译后的jar包。 注意:这里的hbase版本为:1.2.1 hive的版本为:1.2.1
### 大数据工具篇之Hive与HBase整合完整教程 #### 一、引言 在大数据处理领域,Hive 和 HBase 是两种非常重要的工具。Hive 是一种数据仓库工具,可以用来进行数据提取、转换和加载(ETL),同时提供了一种 SQL ...
INSERT INTO TABLE hive_hbase_table SELECT * FROM hive_data; 最后,查看 HBase 表中是否有数据: hbase shell> scan 'hbase_table' 二、Hive 表生成 HFile,通过 bulkload 导入到 HBase 这种方法适用于数据量...
【Hive、Hbase、MySQL的区别】 Hive、Hbase和MySQL是三种不同类型的数据库系统,它们各自在数据处理和存储方面有着独特的特性和应用场景。 1. Hive与Hbase的区别: - Hive是一个基于Hadoop的数据仓库工具,它允许...
hive0.10.0和hbase0.94.4集成的hive-hbase-handler.Jar包,经测试没有问题。
该文档保护了目前比较流行的大数据平台的原理过程梳理。Hadoop,Hive,Hbase,Spark,MapReduce,Storm
【标题】:“hadoop,hive,hbase学习资料”是一份综合性的学习资源,涵盖了大数据处理领域中的三个核心组件——Hadoop、Hive和Hbase。这些工具在大数据处理和分析中发挥着至关重要的作用。 【描述】:描述指出这份...
HBase2.1.3整合Hive3.1.2,Hive官方的hive-hbase-handler-3.1.1.jar包不好用,自己编译后的,确认好用
标题 "Hive整合HBase资源文件.zip" 指向的是一个关于如何将Apache Hive与Apache HBase集成的教程或工具包。Hive是大数据处理领域的一个重要组件,主要用于结构化数据的查询和分析,而HBase则是一个分布式、列式存储...
5. 使用Hive-HBase-Handler:运行Hadoop、HBase,然后启动Hive,并在启动Hive时通过命令行参数指定新编译的Hive-HBase-Handler jar包以及HBase的相关配置,如HBase主节点地址(hbase.master)或Zookeeper集群地址...
Hive-1.2.1与HBase-1.3.1兼容处理的jar包 hive-hbase-handler-1.2.2.jar