hi all:
今天将hive和hbase升级,分别将hive升级到0.9.0,hbase升级到0.94.0,原来hadoop的环境是1.0.3,升级完后,hive和hbase能单独运行成功,当然,hadoop集群是正常启动的。但是发现,在hive中使用show tables、desc table操作,都是正常的,但是使用select 的时候就会报错,查看hive的日志,有以下问题:
2012-07-27 09:13:18,951 WARN snappy.LoadSnappy (LoadSnappy.java:<clinit>(46)) - Snappy native library n
ot loaded
2012-07-27 09:13:57,298 WARN client.ZooKeeperSaslClient (ZooKeeperSaslClient.java:<init>(123)) - Securi
tyException: java.lang.SecurityException: 无法定位登录配置 occurred when trying to find JAAS configurati
on.
2012-07-27 09:13:57,685 ERROR mapreduce.TableInputFormatBase (TableInputFormatBase.java:getSplits(167))
- Cannot resolve the host name for /172.17.1.230 because of javax.naming.NameNotFoundException: DNS name
not found [response code 3]; remaining name '230.1.17.172.in-addr.arpa'
2012-07-27 09:13:57,698 ERROR CliDriver (SessionState.java:printError(400)) - Failed with exception java
.io.IOException:java.lang.NullPointerException
java.io.IOException: java.lang.NullPointerException
at org.apache.hadoop.hive.ql.exec.FetchOperator.getNextRow(FetchOperator.java:341)
at org.apache.hadoop.hive.ql.exec.FetchTask.fetch(FetchTask.java:154)
at org.apache.hadoop.hive.ql.Driver.getResults(Driver.java:1377)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:269)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:215)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:406)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:689)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:557)
但是奇怪的是,在hbase集群上,HRegionserver和HQuorumPeer进程的启动正常,上面也说了,单独使用hive或者hbase都是正常的,请问大家,这是什么原因?
分享到:
相关推荐
1. 性能优化:HIVE和HBASE的整合需要考虑到性能优化问题,确保数据处理和存储的高效性。 2. 数据一致性:HIVE和HBASE的整合需要确保数据的一致性和完整性,避免数据不一致和不完整的问题。 3. 安全性:HIVE和HBASE的...
【Hive与HBase整合详解】 Hive和HBase是两个大数据处理的重要组件。Hive提供了基于SQL的查询语言(HQL)来处理大规模的数据,适合于离线批处理;而HBase则是一个NoSQL数据库,它基于Google的Bigtable设计,提供高...
2. **配置HBase与Hive**:在Hive的配置文件(如`hive-site.xml`)中添加HBase的相关配置,包括Zookeeper地址、HBase的配置路径等。 3. **安装HBase的Hive连接器**:例如,安装`Hive-HBase-Connector`,这是一个允许...
Hive与Hbase的整合,集中两者的优势,使用HiveQL语言,同时具备了实时性
Hive 数据导入 HBase 的方法 Hive 是一个基于 Hadoop 的数据仓库工具,而 HBase 是一个基于 Hadoop 的 NoSQL 数据库。它们都是大数据处理的重要组件。在数据处理过程中,经常需要将数据从 Hive 导入到 HBase 中。...
hive0.8.1和hbase0.92.0集成的hive-hbase-handler.Jar包,里面包含:hbase-0.92.0.jar、hbase-0.92.0-tests.jar、hive-hbase-handler-0.9.0-SNAPSHOT.jar。经测试没有问题。
### 大数据工具篇之Hive与HBase整合完整教程 #### 一、引言 在大数据处理领域,Hive 和 HBase 是两种非常重要的工具。Hive 是一种数据仓库工具,可以用来进行数据提取、转换和加载(ETL),同时提供了一种 SQL ...
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
hive0.10.0和hbase0.94.4集成的hive-hbase-handler.Jar包,经测试没有问题。
### Hive与HBase的核心知识点详解 #### 一、Hive概览 **1.1 定义** Apache Hive 是一个建立在 Hadoop 上的数据仓库工具,它为在大规模数据集上进行复杂的查询提供了便利。Hive 的核心设计是让用户能够通过类似 SQL...
在整合经验分享方面,使用Hive与HBase整合的系统时,需要注意数据的实时性和一致性问题。HBase本身支持数据的快速写入,而Hive更适合执行大规模数据的分析查询,所以在数据写入HBase后,可能需要一定时间来同步到...
hive-hbase-handler-1.2.1.jar解决hive1.2.1,hbase不兼容情况!
标题 "Hive整合HBase资源文件.zip" 指向的是一个关于如何将Apache Hive与Apache HBase集成的教程或工具包。Hive是大数据处理领域的一个重要组件,主要用于结构化数据的查询和分析,而HBase则是一个分布式、列式存储...
本文将详细介绍Hadoop、HBase和Hive的版本整合兼容性,以及如何确保它们在不同版本间顺畅协作。 首先,Hadoop作为基础平台,其版本选择会直接影响到HBase和Hive的运行。Hadoop的主要组件包括HDFS(分布式文件系统)...
#### 四、Hive与HBase的整合 Hive和HBase的整合使得Hive能够直接操作存储在HBase中的数据,而无需将数据导出到HDFS中再进行处理。 - **配置Hive连接HBase**: - 设置Hive连接HBase所需的配置项: - `SEThbase....
《Hive 0.9.0:大数据处理的利器》 Hive,作为Apache软件基金会下的一个开源项目,是大数据处理领域的重要工具,它为结构化的数据提供了类似于SQL的查询语言——HQL(Hive Query Language),使得非编程背景的用户...
hive和hbase整合的时候,如果出现不兼容的情况需要手动编译:hive-hbase-hander-1.2.2.jar把这个jar替换掉hive/lib里的那个jar包