`
yugouai
  • 浏览: 498545 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

hive0.9.0与hbase0.94.0整合问题

 
阅读更多
hi all:
   今天将hive和hbase升级,分别将hive升级到0.9.0,hbase升级到0.94.0,原来hadoop的环境是1.0.3,升级完后,hive和hbase能单独运行成功,当然,hadoop集群是正常启动的。但是发现,在hive中使用show tables、desc table操作,都是正常的,但是使用select 的时候就会报错,查看hive的日志,有以下问题:
2012-07-27 09:13:18,951 WARN  snappy.LoadSnappy (LoadSnappy.java:<clinit>(46)) - Snappy native library n
ot loaded
2012-07-27 09:13:57,298 WARN  client.ZooKeeperSaslClient (ZooKeeperSaslClient.java:<init>(123)) - Securi
tyException: java.lang.SecurityException: 无法定位登录配置 occurred when trying to find JAAS configurati
on.
2012-07-27 09:13:57,685 ERROR mapreduce.TableInputFormatBase (TableInputFormatBase.java:getSplits(167))
- Cannot resolve the host name for /172.17.1.230 because of javax.naming.NameNotFoundException: DNS name
not found [response code 3]; remaining name '230.1.17.172.in-addr.arpa'
2012-07-27 09:13:57,698 ERROR CliDriver (SessionState.java:printError(400)) - Failed with exception java
.io.IOException:java.lang.NullPointerException
java.io.IOException: java.lang.NullPointerException
        at org.apache.hadoop.hive.ql.exec.FetchOperator.getNextRow(FetchOperator.java:341)
        at org.apache.hadoop.hive.ql.exec.FetchTask.fetch(FetchTask.java:154)
        at org.apache.hadoop.hive.ql.Driver.getResults(Driver.java:1377)
        at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:269)
        at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:215)
        at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:406)
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:689)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:557)
但是奇怪的是,在hbase集群上,HRegionserver和HQuorumPeer进程的启动正常,上面也说了,单独使用hive或者hbase都是正常的,请问大家,这是什么原因?
分享到:
评论
4 楼 yugouai 2012-12-28  
4998170cc 写道
楼主,我也是相同问题,不过我用的就是0.94.1版本的,请教下,你这个怎么解决的


0.94.1的bug已经修复了
3 楼 4998170cc 2012-12-12  
楼主,我也是相同问题,不过我用的就是0.94.1版本的,请教下,你这个怎么解决的
2 楼 yugouai 2012-09-19  
0.94
ChristmasLin 写道
换hb0941吧,hb0940有个bug,在读hive利用hb的inputformat(具体哪个类忘了)时,scaner没有初始化,导致报nullpointexception。941fixed。

对,现在换了0.94.1,集群成功了,0.94.1刚发布不久
1 楼 ChristmasLin 2012-09-16  
换hb0941吧,hb0940有个bug,在读hive利用hb的inputformat(具体哪个类忘了)时,scaner没有初始化,导致报nullpointexception。941fixed。

相关推荐

    HIVE和HBASE的整合

    1. 性能优化:HIVE和HBASE的整合需要考虑到性能优化问题,确保数据处理和存储的高效性。 2. 数据一致性:HIVE和HBASE的整合需要确保数据的一致性和完整性,避免数据不一致和不完整的问题。 3. 安全性:HIVE和HBASE的...

    hive和hbase整合

    【Hive与HBase整合详解】 Hive和HBase是两个大数据处理的重要组件。Hive提供了基于SQL的查询语言(HQL)来处理大规模的数据,适合于离线批处理;而HBase则是一个NoSQL数据库,它基于Google的Bigtable设计,提供高...

    hive与hbase整合经验谈

    2. **配置HBase与Hive**:在Hive的配置文件(如`hive-site.xml`)中添加HBase的相关配置,包括Zookeeper地址、HBase的配置路径等。 3. **安装HBase的Hive连接器**:例如,安装`Hive-HBase-Connector`,这是一个允许...

    Hive与Hbase的整合

    Hive与Hbase的整合,集中两者的优势,使用HiveQL语言,同时具备了实时性

    Hive数据导入HBase的方法.docx

    Hive 数据导入 HBase 的方法 Hive 是一个基于 Hadoop 的数据仓库工具,而 HBase 是一个基于 Hadoop 的 NoSQL 数据库。它们都是大数据处理的重要组件。在数据处理过程中,经常需要将数据从 Hive 导入到 HBase 中。...

    hive0.8.1和hbase0.92.0集成的hive-hbase-handler.Jar包

    hive0.8.1和hbase0.92.0集成的hive-hbase-handler.Jar包,里面包含:hbase-0.92.0.jar、hbase-0.92.0-tests.jar、hive-hbase-handler-0.9.0-SNAPSHOT.jar。经测试没有问题。

    大数据工具篇之Hive与HBase整合完整教程

    ### 大数据工具篇之Hive与HBase整合完整教程 #### 一、引言 在大数据处理领域,Hive 和 HBase 是两种非常重要的工具。Hive 是一种数据仓库工具,可以用来进行数据提取、转换和加载(ETL),同时提供了一种 SQL ...

    zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程(超详细).docx

    jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...

    hive0.10.0和hbase0.94.4集成的 hive-hbase-handler-0.10.0.jar包

    hive0.10.0和hbase0.94.4集成的hive-hbase-handler.Jar包,经测试没有问题。

    浅谈Hive vs. HBase

    ### Hive与HBase的核心知识点详解 #### 一、Hive概览 **1.1 定义** Apache Hive 是一个建立在 Hadoop 上的数据仓库工具,它为在大规模数据集上进行复杂的查询提供了便利。Hive 的核心设计是让用户能够通过类似 SQL...

    hive与hbase整合经验谈.pdf

    在整合经验分享方面,使用Hive与HBase整合的系统时,需要注意数据的实时性和一致性问题。HBase本身支持数据的快速写入,而Hive更适合执行大规模数据的分析查询,所以在数据写入HBase后,可能需要一定时间来同步到...

    hive-hbase-handler-1.2.1.jar

    hive-hbase-handler-1.2.1.jar解决hive1.2.1,hbase不兼容情况!

    Hive整合HBase资源文件.zip

    标题 "Hive整合HBase资源文件.zip" 指向的是一个关于如何将Apache Hive与Apache HBase集成的教程或工具包。Hive是大数据处理领域的一个重要组件,主要用于结构化数据的查询和分析,而HBase则是一个分布式、列式存储...

    hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】 -

    本文将详细介绍Hadoop、HBase和Hive的版本整合兼容性,以及如何确保它们在不同版本间顺畅协作。 首先,Hadoop作为基础平台,其版本选择会直接影响到HBase和Hive的运行。Hadoop的主要组件包括HDFS(分布式文件系统)...

    hive 整合 hbase

    #### 四、Hive与HBase的整合 Hive和HBase的整合使得Hive能够直接操作存储在HBase中的数据,而无需将数据导出到HDFS中再进行处理。 - **配置Hive连接HBase**: - 设置Hive连接HBase所需的配置项: - `SEThbase....

    hive-0.9.0

    《Hive 0.9.0:大数据处理的利器》 Hive,作为Apache软件基金会下的一个开源项目,是大数据处理领域的重要工具,它为结构化的数据提供了类似于SQL的查询语言——HQL(Hive Query Language),使得非编程背景的用户...

    hive-hbase-handler-1.2.2.jar

    hive和hbase整合的时候,如果出现不兼容的情况需要手动编译:hive-hbase-hander-1.2.2.jar把这个jar替换掉hive/lib里的那个jar包

Global site tag (gtag.js) - Google Analytics