问题:
java.lang.Exception: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex's TaskResource is beyond the cluster container capability,Vertex=vertex_1517380657411_0232_1_00 [Map 1], Requested TaskResource=<memory:3750, vCores:1>, Cluster MaxContainerCapability=<memory:2250, vCores:8>
look at the values for following two variables mapreduce.map.memory.mb and mapreduce.reduce.memory.mb
and you could make the vaules as same as the container size.
there is nice HCC article explaining how this allocations work here
alternately if you don't have any more resources you may use the mr-engine instead of Tez ( though it is slow will complete the tasks with lesser concurrent memory utilization) // to change the engine run "hive.execution.engine=mr" for this query.
分享到:
相关推荐
hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失
Missing Hive Execution Jar: /hive/hive1.2.1/lib/hive-exec-*.jar
4. 错误四:Hive Runtime Error while closing operators: null 当遇到此运行时异常时,可以尝试禁用向量化执行或者混合Grace Hash Join,设置`hive.vectorized.execution.enabled`为false,以及`hive.mapjoin....
"HIVE安装及详解" HIVE是一种基于Hadoop的数据仓库工具,主要用于处理和分析大规模数据。下面是关于HIVE的安装及详解。 HIVE基本概念 HIVE是什么?HIVE是一种数据仓库工具,主要用于处理和分析大规模数据。它将...
在IT行业中,尤其是在大数据处理领域,Hive是一个广泛使用的数据仓库工具,它允许用户通过SQL-like语法查询存储在Hadoop集群中的大规模数据集。本文将深入探讨如何在执行Hive脚本时捕获并处理异常,以及如何利用...
Hive是一种数据仓库软件,用于对存储在分布式存储系统(如Hadoop)中的大数据进行查询和管理。它由Facebook开发,现在是Apache软件基金会的一个顶级项目。 ### Hive的主要特点包括: 1. **基于Hadoop**:Hive建立...
Dive into the world of SQL on Hadoop and get the most out of your Hive data warehouses. This book is your go-to resource for using Hive: authors Scott Shaw, Ankur Gupta, David Kjerrumgaard, and ...
在使用Hive的Beeline客户端进行连接时,可能会遇到错误提示"Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default"。这个错误通常意味着Beeline无法通过JDBC URL成功建立到Hive ...
[HiveServer2-Handler-Pool: Thread-55]: Error opening session: org.apache.hive.service.cli.HiveSQLException: Failed to open new session: java.lang.IllegalArgumentException: Cannot modify hive.query....
《DBeaver与Hive连接:hive-jdbc-uber-2.6.5.0-292.jar驱动详解》 在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,广泛用于数据查询和分析。而DBeaver,作为一款跨平台的数据库管理工具,以其用户友好的...
在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它允许通过SQL-like查询语言(HQL)对存储在Hadoop分布式文件系统(HDFS)中的大量数据进行分析和处理。这个压缩包文件“HIVE相关的jar包”包含了不同版本的...
### Hive的一些报错及解决方法 #### 一、Hive连接报错 在更换网络接口卡后重新启动服务时,可能会遇到Hive连接失败的问题。此类问题通常与元数据存储中的异常有关,例如存在多个版本的元数据或者端口被其他服务...
hive-jdbc-1.1.0-cdh5.4.5-standalone.jar Caused by: java.sql.SQLException: java.lang.ClassNotFoundException: org.apache.hive.jdbc.HiveDriver at com.trs.gateway.commons.hive.HiveFeature.getConnection...
Hive JDBC 1.1.0-cdh5.12.1 连接库是Apache Hive项目中的一个重要组件,主要用于允许客户端程序通过Java数据库连接(JDBC)接口与Hive服务器进行交互。这个连接库是专为CDH(Cloudera Distribution Including Apache...
在IT行业中,Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)对大规模数据进行分析。DataGrip是JetBrains公司开发的一款强大的数据库和SQL集成开发环境(IDE),它支持多种...
hive3.1.2编译后的驱动包
3. **配置Hive服务**:修改`hive-site.xml`配置文件,添加Kerberos相关属性,如`hive.server2.authentication`设为`KERBEROS`,`hive.metastore.kerberos.principal`和`hive.server2.kerberos.principal`分别设定为...
在Java编程环境中,访问Hive数据库通常涉及到一系列的依赖库,这些库提供了与Hive通信所需的接口和功能。由于在你的场景中不使用Maven这样的项目管理工具,你需要手动收集和管理这些jar包。以下是对标题和描述中涉及...
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
这是 Apache HIVE 的 MongoDB 存储处理程序的快速而肮脏的实现。 ##警告: 目前仅支持 Hive 原始类型:string、int、smallint.... 不应在“mongo.column.mapping”字符串中的条目之间使用空格,因为这些将作为列名...