`
xiyukongjian
  • 浏览: 2132 次
  • 性别: Icon_minigender_1
  • 来自: 西安市
文章分类
社区版块
存档分类
最新评论

执行hive时 mapreduce报错

阅读更多
hive> select count(*) from testkkk;                                                                            
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
Starting Job = job_1418293347253_0077, Tracking URL = http://dapserver3:8088/proxy/application_1418293347253_0077/
Kill Command = /opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hadoop/bin/hadoop job  -kill job_1418293347253_0077
Hadoop job information for Stage-1: number of mappers: 5; number of reducers: 1
2014-12-13 11:35:27,202 Stage-1 map = 0%,  reduce = 0%
2014-12-13 11:35:42,672 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_1418293347253_0077 with errors
Error during job, obtaining debugging information...
Examining task ID: task_1418293347253_0077_m_000001 (and more) from job job_1418293347253_0077
Examining task ID: task_1418293347253_0077_m_000003 (and more) from job job_1418293347253_0077

Task with the most failures(4):
-----
Task ID:
  task_1418293347253_0077_m_000001

URL:
  http://dapserver3:8088/taskdetails.jsp?jobid=job_1418293347253_0077&tipid=task_1418293347253_0077_m_000001
-----
Diagnostic Messages for this Task:
Application application_1418293347253_0077 initialization failed (exitCode=1) with output: main : command provided 0
main : user is nobody
main : requested yarn user is hdfs
EPERM: Operation not permitted
        at org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmodImpl(Native Method)
        at org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmod(NativeIO.java:228)
        at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:642)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:434)
        at org.apache.hadoop.fs.FileSystem.primitiveMkdir(FileSystem.java:1063)
        at org.apache.hadoop.fs.DelegateToFileSystem.mkdir(DelegateToFileSystem.java:157)
        at org.apache.hadoop.fs.FilterFs.mkdir(FilterFs.java:197)
        at org.apache.hadoop.fs.FileContext$4.next(FileContext.java:721)
        at org.apache.hadoop.fs.FileContext$4.next(FileContext.java:717)
        at org.apache.hadoop.fs.FSLinkResolver.resolve(FSLinkResolver.java:90)
        at org.apache.hadoop.fs.FileContext.mkdir(FileContext.java:717)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.createDir(ContainerLocalizer.java:383)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.initDirs(ContainerLocalizer.java:369)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.runLocalization(ContainerLocalizer.java:129)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.main(ContainerLocalizer.java:347)

下面是mr的日志
Application application_1418293347253_0054 failed 2 times due to AM Container for appattempt_1418293347253_0054_000002 exited with exitCode: -1000 due to: Application application_1418293347253_0054 initialization failed (exitCode=1) with output: main : command provided 0
main : user is nobody
main : requested yarn user is hdfs
EPERM: Operation not permitted
at org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmodImpl(Native Method)
at org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmod(NativeIO.java:228)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:642)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:434)
at org.apache.hadoop.fs.FileSystem.primitiveMkdir(FileSystem.java:1063)
at org.apache.hadoop.fs.DelegateToFileSystem.mkdir(DelegateToFileSystem.java:157)
at org.apache.hadoop.fs.FilterFs.mkdir(FilterFs.java:197)
at org.apache.hadoop.fs.FileContext$4.next(FileContext.java:721)
at org.apache.hadoop.fs.FileContext$4.next(FileContext.java:717)
at org.apache.hadoop.fs.FSLinkResolver.resolve(FSLinkResolver.java:90)
at org.apache.hadoop.fs.FileContext.mkdir(FileContext.java:717)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.createDir(ContainerLocalizer.java:383)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.initDirs(ContainerLocalizer.java:369)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.runLocalization(ContainerLocalizer.java:129)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.main(ContainerLocalizer.java:347)
.Failing this attempt.. Failing the application.
分享到:
评论

相关推荐

    hive的一些报错及解决方法

    在执行Hive脚本时,可能会遇到脚本执行卡住或报错的情况。这类问题通常与Hadoop服务的状态有关。 1. **Timelineserver服务未启动**: - **现象**:执行Hive脚本时卡住或报错,检查发现10200端口没有相关进程。 - ...

    hadoop+ha+hive+mapreduce

    【标题】"hadoop+ha+hive+mapreduce"涵盖了大数据处理领域中的核心组件,包括Hadoop的高可用性(HA)、Hive的数据仓库服务、MapReduce的分布式计算框架。这些技术是构建大规模数据处理系统的基础,对于理解大数据...

    hive on tez 常见报错问题收集

    当遇到此运行时异常时,可以尝试禁用向量化执行或者混合Grace Hash Join,设置`hive.vectorized.execution.enabled`为false,以及`hive.mapjoin.hybridgrace.hashtable`和`hive.vectorized.execution.reduce....

    hadoop+hive+mapreduce的java例子

    1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。 2)测试数据data文件'\t'分隔: 1 zhangsan 2 lisi 3 wangwu 3)将测试数据data上传到linux目录下,我放置在:/home/hadoop01/...

    hadoop1.1.2操作例子 包括hbase hive mapreduce相应的jar包

    `hive`目录可能包含了Hive的JAR文件,这些文件在执行Hive查询时是必需的。 **MapReduce**: MapReduce是Hadoop的核心组件,它将大型数据集分解成小块,然后在集群中的多台机器上并行处理。"map"阶段将数据分割并...

    mapreduce方式入库hbase hive hdfs

    mapreduce方式入库hbase hive hdfs,速度很快,里面详细讲述了代码的编写过程,值得下载

    hadoop基础,hdfs,hive,mapreduce,hbase

    hadoop基础,hdfs,hive,mapreduce,hbase

    HDFS+MapReduce+Hive+HBase十分钟快速入门.zip_hbase_hdfs_hive_mapReduce

    - MapReduce用于执行Hive的查询任务,将HQL转换为MapReduce作业执行,实现大数据的离线分析。 - Hive则提供了一种更友好的SQL接口,使得数据分析师能更方便地查询和分析HDFS上的数据。 - HBase则提供实时的数据读写...

    HDFS+MapReduce+Hive十分钟快速入门

    分布式文件管理系统 Hadoop MapReduce Hive

    BDP_Spark_Hive_MapReduce

    Hive将SQL查询转换为一系列MapReduce作业,然后在Hadoop集群上执行。Hive非常适合离线批处理,但对实时查询支持相对较弱。在“BDP_Spark_Hive_MapReduce”项目中,Hive可能用于数据建模、数据存储和提供SQL接口供...

    HIVE文件读写

    5. 数据导出:当需要将Hive中的结果导出到文件时,可以使用INSERT OVERWRITE命令。例如,将查询结果写入一个新的CSV文件: ```sql INSERT OVERWRITE LOCAL DIRECTORY '/path/to/output' SELECT * FROM my_table ...

    Spark不能使用hive自定义函数.doc

    - 执行包含 Hive UDF 的 Spark SQL 查询时出现运行时错误。 - Spark 的 DataFrame API 无法正确转换 Hive UDF。 #### 二、原因分析 导致 Spark 无法使用 Hive 自定义函数的主要原因有以下几点: 1. **环境配置不...

    hive执行计划可视化工具

    5. **资源管理**:显示Hive如何分配资源(如MapReduce或Tez任务)来执行查询,帮助管理员理解资源使用情况,以便进行更有效的集群管理。 在标签中提到的“软件/插件”,暗示可能有多种不同的实现方式。例如: - **...

    HIVE安装及详解

    * Hive Execution Engine:执行MapReduce任务 * Hive Storage Handler:用于存储数据 各组件的基本功能: * Hive Metastore:存储HIVE的元数据 * Hive Query Compiler:将SQL查询转换为MapReduce任务 * Hive ...

    网站流量数据分析 (MapReduce+Hive综合实验)

    网站流量数据分析 (MapReduce+Hive综合实验)

    基于Hadoop框架的图书数据管理系统.pdf

    该系统基于 Hadoop 框架,使用 Hive、MapReduce 和 Pig 等工具进行数据处理和分析,同时使用 PHP 脚本语言创建了基于网络的用户界面,以便执行 Hive、Pig 和 MapReduce 查询。该系统能够处理大规模数据,高效地进行...

    如何在python中写hive脚本

    这里提到了TensorFlow的显存占用,虽然与Hive操作直接关联不大,但值得注意的是,在使用TensorFlow时,可以通过`tf.enable_eager_execution()`启用即时执行模式来更有效地管理内存。例如: ```python import ...

    Hive Beeline连接报错:Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default

    在使用Hive的Beeline客户端进行连接时,可能会遇到错误提示"Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default"。这个错误通常意味着Beeline无法通过JDBC URL成功建立到Hive ...

    Hive原理与实现

    - **执行引擎**:Hive通过ExecMapper和ExecReducer执行MapReduce任务,支持本地模式和分布式模式两种执行模式。 #### 四、Hive执行流程详解 - **编译阶段**: - **Parser**:将HQL查询解析成抽象语法树(AST)。 ...

Global site tag (gtag.js) - Google Analytics