`
heipark
  • 浏览: 2094888 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hive错误记录

 
阅读更多

系统环境:

hadoop CDH3u2

hive 0.71 3u4

 

错误1

使用默认的derby数据库,当查询数据库的时候,比如使用 show tables,报错如下:

 写道
FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Cannot get a connection, pool error Could not create a validated object, cause: A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection.
NestedThrowables:
org.apache.commons.dbcp.SQLNestedException: Cannot get a connection, pool error Could not create a validated object, cause: A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection.
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

 

解决办法:通过conf/hive-site.xml文件找到derby数据库的路径,在cdh3中为"/var/lib/hive/metastore/metastore_db",然后执行sudo chown -R hadoop:hadoop /var/lib/hive/,这里假设我运行用户名为hadoop。

 

问题原因:root用户创建了derby数据库锁,hadoop用户无法操作root用户锁文件。

 

 

错误2

查询使用RegexSerDe的表出现如下错误:

 

Hive ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.RegexSerDe

 

解决办法:

 

vi hive/conf/hive-site.xml 

 

<property>
  <name>hive.aux.jars.path</name>
  <value>file:////usr/lib/hive/lib/hive-contrib-0.7.1-cdh3u4.jar</value>
</property>
 

 

 

 

 

-heipark

分享到:
评论

相关推荐

    kettle8.1Hive连接包

    8. **错误处理和日志记录**:Kettle 提供详细的日志记录和错误处理机制,帮助用户跟踪和解决在处理 Hive 数据时遇到的问题。 9. **与 SQL Server 和 Oracle 数据库的连接**:除了 Hive,这个连接包还包含了连接 SQL...

    Hive-jdbc-3.1.1.zip

    7. **错误处理和调试**:Hive JDBC提供了详细的错误信息和日志记录,帮助开发者诊断和解决连接、查询或数据加载等问题。 8. **API文档**:Hive-jdbc-3.1.1.zip可能包含了Javadoc文档,这为开发者提供了详细的API...

    hive jdbc 连接所需要的jar包

    9. **slf4j-api*.jar** 和 **slf4j-log4j12*.jar**: 日志记录框架SLF4J和其适配器Log4j,用于记录Hive JDBC操作的日志信息。 10. **protobuf*.jar**: Protocol Buffers是Google的一种数据序列化协议,Hive可能用它...

    Hive配置(Oracle数据库为元数据)

    ### Hive配置(Oracle数据库为元数据) #### 一、概述 ...通过以上步骤,Hive 将能够使用 Oracle 数据库作为其元数据存储,并且具备了基本的日志记录能力。后续可根据实际需求进一步调整配置或扩展功能。

    hive所需jar包

    1. **Hive Common JAR (hive-common.jar)**:这是Hive的基础库,包含了很多通用的功能和辅助类,如Hive的配置管理、网络通信、日志记录以及元数据处理等。它是Hive运行时不可或缺的一部分,为其他Hive组件提供基础...

    java_hive简单查询

    为了跟踪查询性能和调试问题,可以启用Hive的日志记录,并结合Hadoop的YARN或Ambari监控工具进行性能分析。 通过以上步骤,你将能够利用Java与Hive进行有效的交互,执行简单的查询以及更复杂的分析任务。确保理解...

    Hive_1.2.1_Tez_0.9.1安装包.rar

    此外,Hive 1.2.1还改进了错误处理和日志记录,使得诊断问题更加方便。在安装Hive时,你需要配置Hadoop环境,并设置Hive的metastore服务,以便存储元数据信息。 Tez 0.9.1是Apache Tez的早期版本,它是Hadoop生态...

    捕获hive脚本异常: echo $?

    在实际应用中,我们还可以结合日志分析和错误处理逻辑,编写更复杂的bash脚本来捕获、记录并处理这些异常。例如,我们可以将错误信息重定向到一个日志文件,或者在脚本中定义一些错误处理函数,根据不同的退出状态...

    快捷删除hive表的工具

    - **错误处理和日志记录**:捕获并记录任何异常,以便于排查问题和审计操作。 - **事务处理**:确保删除操作的原子性,即所有表都成功删除或都不删除。 - **安全性**:可能包含备份和恢复功能,以防误删。 在使用这...

    hdfs开启高可用+hive报错

    根据题目描述,当HDFS开启高可用模式后,Hive出现了以下错误: &gt; **错误信息**:“Operation category READ is not supported in state standby” **问题分析**: - 在HDFS HA架构中,存在两个NameNode节点:...

    Hive开发培训.pptx

    - 缺乏实时查询功能和记录级的更新能力。 #### 四、Hive架构 - **Hive的组成**: - **客户端**: 提供用户接口,可以是CLI、WebUI或JDBC/ODBC驱动程序。 - **元数据存储**: 使用Metastore服务存储表和分区的元数据...

    cdh6.3.2升级hive至3.x后登陆HiveServer2连接失败.doc

    这些错误信息明确指出,在运行时无法修改 `hive.query.redaction.rules` 参数,因为该参数不在允许运行时修改的参数列表中。 #### 二、问题分析 1. **参数理解**: - `hive.query.redaction.rules` 是一个配置项...

    kettle 从oracle数据库导数据到hive 表

    - **日志记录**:开启详细日志记录,便于后期分析数据迁移过程中可能遇到的问题及其原因。 通过上述步骤,可以顺利完成从 Oracle 数据库到 Hive 表的数据迁移工作。此过程不仅涉及技术细节的调整,还需要对数据类型...

    项目实战——Spark将Hive表的数据写入ElasticSearch(Java版本)

    这可以通过Spark DataFrame的操作来完成,例如选择字段、过滤记录、聚合数据等。 4. **ElasticSearch数据导入**: Spark提供了`org.elasticsearch.spark.sql.ElasticsearchSpark`库,使得可以直接将DataFrame写入...

    hive进阶强化必备

    这里`/var/log/hiveserver.log`是日志文件路径,用于记录运行时的信息;`2&gt;`表示标准错误输出重定向至`/var/log/hiveserver.err`。 2. **连接方法**: - **方式一**:首先打开`hive/bin/beeline`命令行工具,然后...

    Flume采集Nginx日志到新版Hive.rar

    监控Flume的日志,确保数据成功导入且没有错误。 总的来说,这个过程涉及到Flume的配置与使用,Nginx日志解析,Hive的数据模型设计,以及Hadoop集群的环境准备。理解并熟练掌握这些技术,对于实现大规模日志数据的...

    Cloudera_HiveJDBC_2.5.4.1006.zip

    8. **异常处理和错误排查**:在使用Hive JDBC过程中,可能会遇到各种异常,如连接失败、查询错误等。正确地捕获和处理这些异常,以及通过日志记录和分析,可以帮助定位和解决问题。 9. **最佳实践**:保持JDBC驱动...

    apache-hive-2.3.5-bin.tar.gz

    描述中提到的 "LineageLogger 类" 是 Hive 内部用于记录数据血缘信息的关键组件。数据血缘是指数据从源头到最终使用的整个过程中产生的关系链,包括数据的生成、转换、处理和消费等步骤。在大数据环境中,理解数据...

    各种情况手机号清洗udf函数(hive impala)

    1. **手机号码格式问题**:手机号码可能因历史记录、输入错误或不同的国家/地区标准而呈现多种格式。例如,有的号码可能带有区号、分隔符,或者前缀有特定的国家代码。在进行数据分析之前,我们需要将这些号码统一为...

Global site tag (gtag.js) - Google Analytics