`
vase
  • 浏览: 422252 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hive批量插入分区表时报java.lang.ClassCastException解决办法

阅读更多

将从一个表查询结果插入到一个分区表时,有时会在Load data步骤出错,这是在执行语句前没切换到目标表所在的库导致。

所以在执行插入语句前,先用use databasename切换到目标表所在的库下就正常了。

——————————以下是出错语句示例————————————

$ hive
Logging initialized using configuration in jar:file:/data/opt/hive-0.8.1/lib/hive-common-0.8.1.jar!/hive-log4j.properties
Hive history file=/tmp/hadoop/hive_job_log_hadoop_201302171019_1202642080.txt

hive> INSERT OVERWRITE TABLE dw1.t_test PARTITION(f_day)
    >     SELECT f_prod_id, f_uuid_prod, f_uuid_channel, f_uuid, f_cost, f_day
    >     FROM dw0.t_test
    >     WHERE f_day >= '2013-02-02' and f_day<= '2013-02-03'
    >     DISTRIBUTE BY f_day;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapred.reduce.tasks=<number>
Starting Job = job_201206261006_347586, Tracking URL = http://master:50030/jobdetails.jsp?jobid=job_201206261006_347586
Kill Command = /data/opt/hadoop/bin/hadoop job  -Dmapred.job.tracker=master:9001 -kill job_201206261006_347586
Hadoop job information for Stage-1: number of mappers: 13; number of reducers: 1
2013-02-17 14:03:37,377 Stage-1 map = 0%,  reduce = 0%
2013-02-17 14:03:39,396 Stage-1 map = 8%,  reduce = 0%, Cumulative CPU 1.21 sec
2013-02-17 14:03:40,405 Stage-1 map = 54%,  reduce = 0%, Cumulative CPU 12.34 sec
2013-02-17 14:03:41,412 Stage-1 map = 92%,  reduce = 0%, Cumulative CPU 26.6 sec
2013-02-17 14:03:42,419 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 29.29 sec
2013-02-17 14:03:43,426 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 29.29 sec
2013-02-17 14:03:44,433 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 29.29 sec
2013-02-17 14:03:45,440 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 29.29 sec
2013-02-17 14:03:46,447 Stage-1 map = 100%,  reduce = 33%, Cumulative CPU 29.29 sec
2013-02-17 14:03:47,455 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 31.7 sec
2013-02-17 14:03:48,462 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 31.7 sec
MapReduce Total cumulative CPU time: 31 seconds 700 msec
Ended Job = job_201206261006_347586
Loading data to table dw1.t_test partition (f_day=null)
Deleted hdfs://master/data/dw1/test/f_day=20130202
Failed with exception java.lang.ClassCastException: org.apache.hadoop.hive.metastore.api.InvalidOperationException cannot be cast to java.lang.RuntimeException
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
MapReduce Jobs Launched:
Job 0: Map: 13  Reduce: 1   Accumulative CPU: 31.7 sec   HDFS Read: 71311348 HDFS Write: 14213 SUCESS
Total MapReduce CPU Time Spent: 31 seconds 700 msec

分享到:
评论

相关推荐

    数据库驱动常见错误"java.lang.ClassNotFoundException:解决了jsp连接Error establishing socket.

    "java.lang.ClassNotFoundException: com.microsoft.jdbc.sqlserver.SQLServerDriver" 解决方案 [Microsoft][SQLServer 2000 Driver for JDBC]Error establishing socket. 解决了jsp连接 sql server 2000的问题

    含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-3.1.2-bin.tar.gz

    含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-3.1.2-bin.tar.gz 含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-3.1.2-bin.tar.gz 含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-...

    hadoop java.lang.UnsatisfiedLinkError

    解决方案:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo

    hive-jdbc-2.1.0-standalone.jar

    Caused by: java.sql.SQLException: java.lang.ClassNotFoundException: org.apache.hive.jdbc.HiveDriver at com.trs.gateway.commons.hive.HiveFeature.getConnection(HiveFeature.java:57) at ...

    hive-jdbc-1.1.0-cdh5.4.5-standalone.jar

    Caused by: java.sql.SQLException: java.lang.ClassNotFoundException: org.apache.hive.jdbc.HiveDriver at com.trs.gateway.commons.hive.HiveFeature.getConnection(HiveFeature.java:57) at ...

    apache-hive-3.1.2-bin.tar.gz

    5. `metastore/`:元数据存储相关的库和脚本,Hive使用元数据来跟踪表和分区的信息。 6. `docs/`:文档和帮助资料。 升级Jetty的过程可能包括下载源码,修改pom.xml文件以指定新版本,编译源码,然后将新编译的...

    apache-hive-3.1.2-bin.tar.gz.zip

    apache-hive-3.1.2-bin.tar.gz, 下载自:https://mirrors.bfsu.edu.cn/apache/hive/hive-3.1.2/, 上传至CSDN备份,本资源下载后需要解压缩zip文件,才是原本的apache-hive-3.1.2-bin.tar.gz文件

    apache-hive-2.3.3-bin.tar.gz

    1. **Hive Metastore**:存储元数据的地方,包括表结构、分区信息、列属性等。Hive通过Metastore服务与外部数据库(如MySQL)交互,提供元数据的持久化存储。 2. **Hive Server**:提供与Hive交互的接口,允许...

    hive-jdbc-uber-2.6.5.0-292.zip

    3. 在数据源配置界面,找到“Driver Class”字段,输入相应的Hive JDBC驱动类(通常是`org.apache.hive.jdbc.HiveDriver`)。 4. 在“JDBC URL”字段中,根据实际的Hive服务器配置填写URL(例如:`jdbc:hive2://...

    DBeaver链接hive驱动包下载: hive-jdbc-uber-2.6.5.0-292.jar

    - 类名:org.apache.hive.jdbc.HiveDriver - 驱动库:浏览并选择你刚刚下载的"hive-jdbc-uber-2.6.5.0-292.jar"文件。 3. 配置连接:在驱动配置完成后,创建一个新的数据库连接。输入Hive服务器的相关信息,如...

    Apache Hive(apache-hive-3.1.3-bin.tar.gz)

    Apache Hive(apache-hive-3.1.3-bin.tar.gz、apache-hive-3.1.3-src.tar.gz)是一种分布式容错数据仓库系统,支持大规模分析,并使用 SQL 促进读取、写入和管理驻留在分布式存储中的 PB 级数据。Hive 构建在 Apache...

    hive-jdbc-uber-2.6.5.0-292.jar

    Class.forName("org.apache.hive.jdbc.HiveDriver"); ``` 2. 建立数据库连接: ```java Connection conn = DriverManager.getConnection("jdbc:hive2://&lt;server&gt;:&lt;port&gt;/&lt;database&gt;", "&lt;username&gt;", "&lt;password&gt;"); ...

    Apache Hive(apache-hive-1.2.2-bin.tar.gz)

    Apache Hive(apache-hive-1.2.2-bin.tar.gz、apache-hive-1.2.2-src.tar.gz)是一种分布式容错数据仓库系统,支持大规模分析,并使用 SQL 促进读取、写入和管理驻留在分布式存储中的 PB 级数据。Hive 构建在 Apache...

    apache-hive-2.3.7-bin.tar.gz

    5. **元数据管理**:维护数据的元信息,如表结构、分区信息等,这通常由 Hive Metastore 处理。 Hive 不适合实时或低延迟查询,它的优势在于批处理和离线分析。对于实时分析场景,可以结合使用 Spark SQL 或 Impala...

    Apache Hive(hive-storage-2.8.1.tar.gz)

    Apache Hive(hive-storage-2.8.1.tar.gz、hive-storage-2.7.3.tar.gz)是一种分布式容错数据仓库系统,支持大规模分析,并使用 SQL 促进读取、写入和管理驻留在分布式存储中的 PB 级数据。Hive 构建在 Apache ...

    apache-hive-1.2.2-bin.tar.gz

    总之,Apache Hive是Linux系统中大数据开发的重要组成部分,提供了一种在Hadoop之上构建数据仓库的解决方案,使用户能够通过SQL进行大数据分析。通过正确部署和配置,Hive可以帮助企业和组织挖掘海量数据的价值。

    hive-jdbc-uber-2.6.5.0-292.jar驱动

    Hive JDBC Uber 2.6.5.0-292驱动是Apache Hive与Java数据库连接(JDBC)之间的桥梁,允许用户通过编程语言(如Java、Python等)或者数据库管理工具(如Dbeaver)与Hive进行交互。这个驱动程序集成了所有必要的依赖,...

    apache-hive-2.1.0-bin.tar.gz

    1. **Hive Metastore**:这是Hive的核心组成部分,用于存储元数据,如表结构、分区信息、列属性等。元数据通常存储在关系数据库中,如MySQL,以便于高效地管理和检索。 2. **Hive CLI (Command Line Interface)**:...

    apache-hive-2.2.0-src.tar.gz

    2. **元数据管理**:Hive 包含了一个元数据存储服务,通常使用 MySQL 或 PostgreSQL 作为后端数据库,存储关于表结构、分区、列等信息。 3. **查询引擎**:HiveQL 允许用户以类似 SQL 的方式编写查询,然后转换为 ...

Global site tag (gtag.js) - Google Analytics