`

MapredLocalTask报错

MapredLocalTask报错 
阅读更多

转个解决 MapredLocalTask的帖子

我的问题是目录没有其他用户读权限，所以报错

 

http://vase.iteye.com/blog/2090320

不知道是不是hive-0.12版增强了local mode的原因，在之前版本运行好好的Hive-QL在这个版本上错误频频，折磨一天多以后终于定位到原因，把在内部的总结在这再记录下，希望对遇到同样问题的筒子们有所帮助。

 

部分一 关于return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

Hive升级到0.12版之后，若干原来在0.10上执行正常的SQL会在新版上报错误 “return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask”，查看hive执行日志，从中找到如下错误

 

Java代码  收藏代码
  1. Total MapReduce jobs = 1  
  2. java.io.IOException: Cannot run program "/data/opt/hadoop_cdh5/bin/hadoop" (in directory "/root"): error=13, 权限不够  
  3.         at java.lang.ProcessBuilder.start(ProcessBuilder.java:1041)  
  4.         at java.lang.Runtime.exec(Runtime.java:617)  
  5.         at java.lang.Runtime.exec(Runtime.java:450)  
  6.         at org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask.execute(MapredLocalTask.java:253)  
  7.         at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:151)  
  8.         at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:65)  
  9.         at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1485)  
  10.         at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1263)  
  11.         at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1091)  
  12.         at org.apache.hadoop.hive.ql.Driver.run(Driver.java:931)  
  13.         at org.apache.hadoop.hive.ql.Driver.run(Driver.java:921)  
  14.         at org.apache.hadoop.hive.service.HiveServer$HiveServerHandler.execute(HiveServer.java:198)  
  15.         at org.apache.hadoop.hive.service.ThriftHive$Processor$execute.getResult(ThriftHive.java:644)  
  16.         at org.apache.hadoop.hive.service.ThriftHive$Processor$execute.getResult(ThriftHive.java:628)  
  17.         at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39)  
  18.         at org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39)  
  19.         at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:244)  
  20.         at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)  
  21.         at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)  
  22.         at java.lang.Thread.run(Thread.java:744)  
  23. Caused by: java.io.IOException: error=13, 权限不够  
  24.         at java.lang.UNIXProcess.forkAndExec(Native Method)  
  25.         at java.lang.UNIXProcess.<init>(UNIXProcess.java:135)  
  26.         at java.lang.ProcessImpl.start(ProcessImpl.java:130)  
  27.         at java.lang.ProcessBuilder.start(ProcessBuilder.java:1022)  
  28.         ... 19 more  
  29. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask  

 

 

从上边错误及下边报错的类MapredLocalTask可以看出跟本地任务有关

hive从0.7版以后，为了提高小数据的计算速度，增加了本地模式，即将hdfs上的数据拉到hiveserver本地进行计算，可以通过以下几个参数对相关行为进行设置

 

hive.exec.mode.local.auto=false
hive.exec.mode.local.auto.input.files.max=4
hive.exec.mode.local.auto.inputbytes.max=134217728
其中第一个为不启用本地模式，第二个参数表示文件数小于4时使用本地模式，第三个参数表示文件大小小于128m时采用本地模式
默认为不启用本地模式；在启用的情况下，满足第二、三个条件中的任意一个都会使用本地模式。
        在之前我们用过的0.8.1、0.10版上都未遇到过上述错误，怀疑是现在0.12版本的问题突然导致上述错误。任务是在root用户下通过crontab调用的，进入shell后先启动hiveserver，所以默认工作目录其实是/root；为了能正常读写hdfs上的文件，hiveserver在启动时切换到了hdfs用户，一旦遇到上述两种满足启用本地模式的情况，hdfs用户试图向当前工作目录/root拉取数据，必然没有权限从而导致以上错误。
        理清问题所在就好办了，我们可以先创建一个目录，把用户、用户组授权给hdfs，进入shell后，先切换工作目录，然后再启动hiveserver即可。如hdfs的home目录/home/hdfs
然后在任务shell的公共配置文件conf/kettle.conf中增加一行切换目录脚本即可解决以上问题
cd /home/hdfs
部分二   关于return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

类似上一篇中return code 1的问题，这个也是跟hive本地任务有关系。

从hive的日志中可以找到出错时本地日志文件，如下：


 

 查看日志文件内容

Java代码  收藏代码
  1. 2014-07-10 11:50:37,606 INFO  mr.ExecDriver (SessionState.java:printInfo(417)) - Execution log at: /tmp/hdfs/hdfs_20140710114949_ab4d1d02-0637-4abd-9e45-2a27c5d740d9.log  
  2. 2014-07-10 11:50:37,711 WARN  conf.Configuration (Configuration.java:loadProperty(2358)) - file:/tmp/hdfs/hive_2014-07-10_11-49-37_877_2428431256361163465-1/-local-10009/jobconf  
  3. 2014-07-10 11:50:37,720 WARN  conf.Configuration (Configuration.java:loadProperty(2358)) - file:/tmp/hdfs/hive_2014-07-10_11-49-37_877_2428431256361163465-1/-local-10009/jobconf  
  4. 2014-07-10 11:50:37,798 INFO  log.PerfLogger (PerfLogger.java:PerfLogBegin(97)) - <PERFLOG method=deserializePlan from=org.apache.hadoop.hive.ql.exec.Utilities>  
  5. 2014-07-10 11:50:37,798 INFO  exec.Utilities (Utilities.java:deserializePlan(732)) - Deserializing MapredLocalWork via kryo  
  6. 2014-07-10 11:50:38,043 INFO  log.PerfLogger (PerfLogger.java:PerfLogEnd(124)) - </PERFLOG method=deserializePlan start=1404964237798 end=1404964238043 duration=245 from=org.apa  
  7. 2014-07-10 11:50:38,050 INFO  mr.MapredLocalTask (SessionState.java:printInfo(417)) - 2014-07-10 11:50:38   Starting to launch local task to process map join;  maximum memory =  
  8. 2014-07-10 11:50:38,059 INFO  mr.MapredLocalTask (MapredLocalTask.java:initializeOperators(389)) - fetchoperator for t2:t_tmp_user_first_login created  
  9. 2014-07-10 11:50:38,198 INFO  exec.TableScanOperator (Operator.java:initialize(338)) - Initializing Self 0 TS  
  10. 2014-07-10 11:50:38,198 INFO  exec.TableScanOperator (Operator.java:initializeChildren(403)) - Operator 0 TS initialized  
  11. 2014-07-10 11:50:38,199 INFO  exec.TableScanOperator (Operator.java:initializeChildren(407)) - Initializing children of 0 TS  
  12. 2014-07-10 11:50:38,199 INFO  exec.SelectOperator (Operator.java:initialize(442)) - Initializing child 1 SEL  
  13. 2014-07-10 11:50:38,199 INFO  exec.SelectOperator (Operator.java:initialize(338)) - Initializing Self 1 SEL  
  14. 2014-07-10 11:50:38,605 ERROR mr.MapredLocalTask (MapredLocalTask.java:executeFromChildJVM(324)) - Hive Runtime Error: Map local work failed  
  15. java.lang.RuntimeException: java.lang.ClassNotFoundException: com.renren.hive.date.GetWeekISO  
  16.     at org.apache.hadoop.hive.ql.udf.generic.GenericUDFBridge.getUdfClass(GenericUDFBridge.java:132)  
  17.     at org.apache.hadoop.hive.ql.exec.FunctionRegistry.isStateful(FunctionRegistry.java:1474)  
  18.     at org.apache.hadoop.hive.ql.exec.FunctionRegistry.isDeterministic(FunctionRegistry.java:1437)  
  19.     at org.apache.hadoop.hive.ql.exec.ExprNodeGenericFuncEvaluator.isDeterministic(ExprNodeGenericFuncEvaluator.java:132)  
  20.     at org.apache.hadoop.hive.ql.exec.ExprNodeEvaluatorFactory.iterate(ExprNodeEvaluatorFactory.java:83)  
  21.     at org.apache.hadoop.hive.ql.exec.ExprNodeEvaluatorFactory.toCachedEval(ExprNodeEvaluatorFactory.java:73)  
  22.     at org.apache.hadoop.hive.ql.exec.SelectOperator.initializeOp(SelectOperator.java:59)  
  23.     at org.apache.hadoop.hive.ql.exec.Operator.initialize(Operator.java:377)  
  24.     at org.apache.hadoop.hive.ql.exec.Operator.initialize(Operator.java:453)  
  25.     at org.apache.hadoop.hive.ql.exec.Operator.initializeChildren(Operator.java:409)  
  26.     at org.apache.hadoop.hive.ql.exec.TableScanOperator.initializeOp(TableScanOperator.java:188)  
  27.     at org.apache.hadoop.hive.ql.exec.Operator.initialize(Operator.java:377)  
  28.     at org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask.initializeOperators(MapredLocalTask.java:408)  
  29.     at org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask.executeFromChildJVM(MapredLocalTask.java:302)  
  30.     at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.main(ExecDriver.java:728)  
  31.     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
  32.     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)  
  33.     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)  
  34.     at java.lang.reflect.Method.invoke(Method.java:606)  
  35.     at org.apache.hadoop.util.RunJar.main(RunJar.java:212)  
  36. Caused by: java.lang.ClassNotFoundException: com.renren.hive.date.GetWeekISO  
  37.     at java.net.URLClassLoader$1.run(URLClassLoader.java:366)  
  38.     at java.net.URLClassLoader$1.run(URLClassLoader.java:355)  
  39.     at java.security.AccessController.doPrivileged(Native Method)  
  40.     at java.net.URLClassLoader.findClass(URLClassLoader.java:354)  
  41.     at java.lang.ClassLoader.loadClass(ClassLoader.java:425)  
  42.     at java.lang.ClassLoader.loadClass(ClassLoader.java:358)  
  43.     at java.lang.Class.forName0(Native Method)  
  44.     at java.lang.Class.forName(Class.java:270)  
  45.     at org.apache.hadoop.hive.ql.udf.generic.GenericUDFBridge.getUdfClass(GenericUDFBridge.java:130)  

     由上可知，这次是找不到UDF的类（如遇到其他情况，需要具体问题具体分析），虽然在进入hive的时候通过add jar语句将自定义函数的jar包添加到hadoop集群，但在本地模式时确找不到了。定位到问题就好解决了：既然是local模式找不到udf jar包，说明在add jar步骤只是向当前job在hdfs上的工作目录下添加了，无视本地工作目录；那么我们就直接把udf的jar包copy到hive的lib目录下，测 试正常。

     该问题在之前用过的hive 0.10、0.8.1中都未遇到过，初步猜测跟0.12版的bug有关，具体原因就需要花时间翻代码对照前后版本的变动了

 

从org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask代码中看，还有return code 3的情况，现在幸运的尚未遇到，遇到后再补记录

分享到：
| maven An error occurred while filtering ...
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hive on spark mr 数据开发常见问题解决

    如果看到`FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask`，这可能是因为MapJoin操作导致的问题。为避免这类错误，可以尝试设置`hive.auto.convert.join = false...

    原生js图片圆形排列按钮控制3D旋转切换插件.zip

    原生js图片圆形排列按钮控制3D旋转切换插件.zip

    类似c++数组的python包

    内含二维数组与三维数组,分别为list2nd,list3rd

    原生js颜色随机生成9x9乘法表代码.zip

    原生js颜色随机生成9x9乘法表代码.zip

    原生js实现图片叠加滚动切换代码.zip

    原生js实现图片叠加滚动切换代码.zip

    【Academic tailor】学术小裁缝必备知识点：全局注意力机制（GAM）TensorFlow

    【Academic tailor】学术小裁缝必备知识点：全局注意力机制（GAM） 注意力机制是深度学习中的重要技术，尤其在序列到序列（sequence-to-sequence）任务中广泛应用，例如机器翻译、文本摘要和问答系统等。这一机制由 Bahdanau 等人在其论文《Neural Machine Translation by Jointly Learning to Align and Translate》中首次提出。以下将详细介绍这一机制的背景、核心原理及相关公式。 全局注意力机制（Global Attention Mechanism, GAM）由 《Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions》提出，是一篇针对计算机视觉任务提出的方法。这篇文章聚焦于增强深度神经网络中通道和空间维度之间的交互，以提高分类任务的性能。与最早由 Bahdanau 等人提出的用于序列到序列任务的注意力机制 不同，这篇文章的重点是针对图像分类任务，并未专注于序

    基于SpringBoot的“篮球论坛系统”的设计与实现（源码+数据库+文档+PPT).zip

    本项目在开发和设计过程中涉及到原理和技术有: B/S、java技术和MySQL数据库等；此文将按以下章节进行开发设计； 第一章绪论；剖析项目背景,说明研究的内容。 第二章开发技术；系统主要使用了java技术， b/s模式和myspl数据库，并对此做了介绍。 第三章系统分析；包罗了系统总体结构、对系统的性能、功能、流程图进行了分析。 第四章系统设计；对软件功能模块和数据库进行详细设计。 第五章系统总体设计；对系统管理员和用户的功能进行描述， 第六章对系统进行测试， 第七章总结心得；在论文最后结束章节总结了开发这个系统和撰写论文时候自己的总结、感想,包括致谢。

    毕业设计&课设_iOS 商城项目，含购物与商家管理功能，用 Sqlite，有账号示例，适合 iOS 开发练习.zip

    1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。

    镗夹具总工艺图.dwg

    镗夹具总工艺图

    原生js树叶数字时钟代码.rar

    原生js树叶数字时钟代码.rar

    近代非线性回归分析-韦博成1989

    近代非线性回归分析-韦博成1989

    Rust语言中冒泡排序算法的高效实现与优化

    内容概要：本文详细介绍了用 Rust 语言实现冒泡排序算法的具体步骤，以及通过设置标志位来优化算法性能的方法。示例代码包括了函数定义、内外层循环逻辑、标志位的应用，并在主函数中展示了如何调用 bubble_sort 函数并显示排序前后的数组。 适合人群：具有基本 Rust 编程基础的学习者和开发者。 使用场景及目标：适用于想要深入了解 Rust 中冒泡排序实现方式及其优化技巧的技术人员。通过本篇文章，能够掌握 Rust 基本语法以及算法优化的基本思想。 阅读建议：除了仔细阅读和理解每一部分的内容外，还可以尝试修改代码，改变数据集大小，进一步探索冒泡排序的时间复杂度和优化效果。此外，在实际应用时也可以考虑引入并发或其他高级特性以提升性能。

    培训课件 -安全隐患分类与排查治理.pptx

    培训课件 -安全隐患分类与排查治理.pptx

    1-中国各地级市的海拔标准差-社科数据.zip

    中国各地级市的海拔标准差数据集提供了298个地级市的海拔变异性信息。海拔标准差是衡量某地区海拔高度分布离散程度的统计指标，它通过计算各测量点海拔与平均海拔之间的差异来得出。这一数据对于评估地形起伏对网络基础设施建设的影响尤为重要，因为地形的起伏度不仅会增加建设成本，还会影响信号质量。此外，由于地形起伏度是自然地理变量，它与经济社会因素关联性较小，因此被用作“宽带中国”试点政策的工具变量，以研究网络基础设施建设对经济的影响。数据集中包含了行政区划代码、地区、所属省份、所属地域、长江经济带、经度、纬度以及海拔标准差等关键指标。这些数据来源于地理空间数据云，并以Excel和dta格式提供，方便研究者进行进一步的分析和研究。

    YOLO算法的原理与实现.pdf

    YOLO算法的原理与实现

    机器学习用于视网膜病变预测：使用 XGBoost 揭示年龄和HbA1c 的重要性 -论文

    视网膜病变是糖尿病和高血压的主要微血管并发症。如果不及时治疗，可能会导致失明。据估计，印度三分之一的成年人患有糖尿病或高血压，他们未来患视网膜病变的风险很高。我们研究的目的是检查糖化血红蛋白 (HbA1c)、血压 (BP) 读数和脂质水平与视网膜病变的相关性。我们的主要假设是，血糖控制不佳（表现为高 HbA1c 水平、高血压和异常脂质水平）会导致视网膜病变风险增加。我们使用眼底照相机筛查了 119 名印度患者的视网膜病变，并获取了他们最近的血压、HbA1c 和血脂谱值。然后，我们应用 XGBoost 机器学习算法根据他们的实验室值预测是否存在视网膜病变。我们能够根据这些关键生物标志物高精度地预测视网膜病变。此外，使用 Shapely Additive Explanations (SHAP)，我们确定了对模型最重要的两个特征，即年龄和 HbA1c。这表明血糖控制不佳的老年患者更有可能出现视网膜病变。因此，这些高风险人群可以成为早期筛查和干预计划的目标，以防止视网膜病变发展为失明。

    RL Base强化学习：信赖域策略优化（TRPO）算法TensorFlow实现

    在强化学习（RL）领域，如何稳定地优化策略是一个核心挑战。2015 年，由 John Schulman 等人提出的信赖域策略优化（Trust Region Policy Optimization, TRPO）算法为这一问题提供了优雅的解决方案。TRPO 通过限制策略更新的幅度，避免了策略更新过大导致的不稳定问题，是强化学习中经典的策略优化方法之一。

    Spring 应用编译为原生可执行文件.zip

    1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。

    1-中国各地区普通小学毕业生数（1999-2020年）-社科数据.zip

    这组数据涵盖了1999至2020年间中国各地区普通小学毕业生的数量。它为我们提供了一个深入了解中国教育领域中普通小学阶段教育水平和教育资源分配情况的窗口。通过分析这些数据，可以为制定科学合理的教育政策提供依据，同时，通过比较不同城市的普通小学毕业生数，也能为城市规划和劳动力市场调查提供参考。数据来源于中国区域统计年鉴和中国各省市统计年鉴，包含了8472个样本，以面板数据的形式呈现。这些数据对于掌握中国教育态势具有重要的参考价值。

    原生js制作拖拽排列排序代码.zip

    原生js制作拖拽排列排序代码.zip

Magicbox
Global site tag (gtag.js) - Google Analytics