`
heipark
  • 浏览: 2097330 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hive集成hbase笔记

 
阅读更多

系统环境:

Hbase:0.90.3

hive:0.7.0

 

hive 0.7.0自带的lib下包含文件“hbase-0.89.0-SNAPSHOT.jar”,我的hbase版本是0.90.3,首先拷贝hbase-0.90.3.jar到hive/lib下,然后删除“hbase-0.89.0-SNAPSHOT.jar”。

 

创建hive表、hbase表:

 

 

CREATE TABLE hbase_table_1(key int, value string) 
  STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
  WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
  TBLPROPERTIES ("hbase.table.name" = "xyz");

 其中属性hbase.table.name值"xyz"为hbase的表名,属性hbase.columns.mapping,"cf1:val"为列族名称。

在hive 客户端执行上面语句后,会在hive中生成表"hbase_table_1",在hbase中生成表"xyz"

 

导入测试数据:

hive> CREATE TABLE pokes (foo INT, bar STRING);
hive> LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;
hive> INSERT OVERWRITE TABLE hbase_table_1 SELECT * FROM pokes;
hive> select * from hbase_table_1;
 

troubleshooting:

FAILED: Error in metadata: MetaException(message:org.apache.hadoop.hbase.MasterNotRunningException: CNC-JN-R-541:60000
        at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.getMaster(HConnectionManager.java:394)
        at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:83)
        at org.apache.hadoop.hive.hbase.HBaseStorageHandler.getHBaseAdmin(HBaseStorageHandler.java:74)
        at org.apache.hadoop.hive.hbase.HBaseStorageHandler.preCreateTable(HBaseStorageHandler.java:158)
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:344)
        at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:470)
        at org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:3146)
        at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:213)
        at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:130)
        at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)
        at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1063)
        at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:900)
        at org.apache.hadoop.hive.ql.Driver.run(Driver.java:748)
        at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:164)
        at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:241)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:456)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
)

 

出现这个错误的原因是我引入的hbase包和hive自带的hive包冲突,删除hive/lib下的 hbase-0.89.0-SNAPSHOT.jar, OK了。

 

 

FAILED: Error in metadata: MetaException(message:Column Family department is not defined in hbase table hello)

 

当使用hive相关管理已经存在的hbase 多列table时,出现上面错误,而且列族“department ”的确存在,最终发现原因是:在hive中使用CREATE EXTERNAL TABLE 创建表的时候,"hbase.columns.mapping"的值中不能包含空格

 

 

分享到:
评论

相关推荐

    Hive整合HBase资源文件.zip

    标题 "Hive整合HBase资源文件.zip" 指向的是一个关于如何将Apache Hive与Apache HBase集成的教程或工具包。Hive是大数据处理领域的一个重要组件,主要用于结构化数据的查询和分析,而HBase则是一个分布式、列式存储...

    数据仓库实战:Hive、HBase、Kylin、ClickHouse

    数据仓库实战:Hive、HBase、Kylin、ClickHouse 包含 01~大数据体系 02~数据集成 03~数仓建模 04~数据可视化 等等 在学习与实践软件分布式架构过程中的,笔记与代码的仓库;主要包含分布式计算、分布式系统、数据...

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    该文档将分为四部分:Hadoop 集群环境搭建、HBase 集群环境搭建、Hive 集群环境搭建和 Sqoop 集成使用。 一、Hadoop 集群环境搭建 1.1 JDK 安装与配置 在开始搭建 Hadoop 集群环境前,我们需要先安装并配置 JDK。...

    2021年-Hive大数据仓库-期末考试知识点重点-笔记整理.pdf

    Hive与Hbase的区别: * Hive是基于Hadoop的大数据仓库工具,可以将结构化的数据文件映射为一个表,并提供简单的SQL查询功能。 * HBase是Hadoop的数据库,一个面向列、分布式、可扩展、大数据的存储。 * Hive是逻辑...

    hive学习笔记精华版

    【Hive学习笔记精华版】 Hive是大数据处理领域中的一款重要工具,它基于Hadoop构建,主要用于数据仓库和数据分析。...最后,熟悉Hive与其他大数据组件(如HDFS、HBase、Spark等)的集成也是提升数据分析效率的关键。

    hive学习笔记

    Hive的学习不仅包括这些基本操作,还包括性能调优、视图、索引、UDF(用户自定义函数)的使用,以及如何与其他Hadoop组件如HBase、Spark集成等。理解Hive的工作原理和最佳实践,对于在大数据环境中进行高效的数据...

    完整图文版 阿里巴巴数据产品平台 大数据与云计算技术系列教程 Hadoop之Hive学习笔记(共63页).rar

    6. **Hive与其它组件的集成**:如HBase、Spark、Pig等,Hive可以通过Hive SerDe(序列化/反序列化)与其他数据源进行交互,增强了数据处理的灵活性。 7. **Hive的版本发展**:从早期的Hive 0.x到Hive 3.x,Hive经历...

    hive基础知识复习笔记.zip

    Hive与Hadoop其他组件紧密集成,如HDFS、HBase、Pig和Spark。它还可以通过Hue等工具提供图形化的用户界面。 9. **Hive的最新发展**: Hive不断发展,增加了如ACID事务、多版本并发控制、实时查询等功能,以适应更...

    大数据技术学习笔记之Hive.zip

    Hive可以与Pig、HBase、Spark等大数据工具无缝集成,实现更复杂的数据处理和分析。例如,通过Spark SQL与Hive交互,可以利用Spark的内存计算优势提升性能。 七、Hive的应用场景 Hive广泛应用于日志分析、广告定向、...

    hbase简介共8页.pdf.zip

    文档可能涵盖了HBase如何与Hadoop生态系统集成,如HDFS(Hadoop分布式文件系统)和MapReduce的关系,以及HBase的读写流程、表管理和数据模型。 【标签】:“hbase简介共8页.pdf.z”的标签暗示了文件的性质,即它是...

    Oracle笔记

    1. **Oracle Big Data Connectors**:允许Oracle数据库与Hadoop、Hive、HBase等大数据平台之间进行数据交换和集成。 2. **Oracle NoSQL数据库**:非关系型数据库系统,适合处理海量结构化和半结构化数据。 3. **...

    BigData文档笔记

    通过阅读这些笔记,读者可以了解到大数据生态中的三个关键组件:Hadoop用于存储和处理数据,Hive提供数据分析的便利性,而HBase则提供高性能的实时数据访问。这三者共同构成了大数据处理的基础架构,对于理解大数据...

    Hive-编程指南

    Hive与HBase的集成则实现了对实时数据的快速访问。 八、Hive的最新发展 随着技术的发展,Hive也在不断进化,如引入Hive on Tez和Hive on Spark,提高了查询性能。Hive 3.x版本引入了ACID事务支持,增强了数据一致性...

    大数据学习笔记汇总指南

    这份“大数据学习笔记汇总指南”涵盖了大数据技术栈中的关键组件,包括Hadoop、Hive、Spark、Storm、Flink以及HBase。让我们逐一深入探讨这些技术及其在大数据生态系统中的作用。 一、Hadoop Hadoop是Apache基金会...

    hadoop笔记2.pdf

    Hadoop是一个生态圈,而不是单一产品,它包括Hive、Hbase、Zookeeper、Cassandra、Solr等众多组件。 **Hadoop的发展历史** Hadoop的发展与Lucene框架有着密切的联系,后者由Doug Cutting创建,最初是Apache基金会...

    zeppelin.zip

    1. **多语言支持**:Zeppelin支持通过Interpreter机制来运行各种语言的代码,比如Apache Spark的Scala、Python、R语言,以及SQL(包括Hive、HBase SQL等)。用户可以在同一个笔记本文档中混合使用这些语言,实现数据...

    xichuan的学习总结笔记,覆盖了java、spring、java其他常用框架,以及大数据相关组件等.zip

    4. **大数据相关组件**:Hadoop生态系统(如HDFS、MapReduce、YARN),Spark的分布式计算,Hive数据仓库,HBase实时存储,以及数据处理工具如Pig、Hue等。可能会涉及大数据处理流程、数据导入导出、数据分析和可视化...

    大数据学习笔记.pdf

    1.3 Spark与Hadoop集成 ................................................................................................ 7 1.4 Spark组件 ....................................................................

Global site tag (gtag.js) - Google Analytics