`
tangjunliang
  • 浏览: 109113 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

执行mr时候报的一个错

阅读更多
hadoop版本:hadoop-2.2.0-cdh5.0.0-beta-1

今天在执行sqoop往hbase里导数的时候,DN节点报了下面的错:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnRuntimeException
	at java.lang.Class.getDeclaredMethods0(Native Method)
	at java.lang.Class.privateGetDeclaredMethods(Class.java:2521)
	at java.lang.Class.getMethod0(Class.java:2764)
	at java.lang.Class.getMethod(Class.java:1653)
	at sun.launcher.LauncherHelper.getMainMethod(LauncherHelper.java:494)
	at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:486)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException
	at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 6 more


看异常是相应的jar没找到

为了执行MR,在yarn-site.xml中有这样一个的配置:
        <property>
                <description>Classpath for typical applications.</description>
                <name>yarn.application.classpath</name>
                <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,
                        $HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
                        $HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
                        $YARN_HOME/share/hadoop/yarn/*,$YARN_HOME/share/hadoop/yarn/lib/*,
                        $YARN_HOME/share/hadoop/mapreduce/*,$YARN_HOME/share/hadoop/mapreduce/lib/*</value>
        </property>


应该是这里的变量没有读到,导致这个原因应该是相应的环境变量没设置,
vi ~/.bashrc

增加:
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop


这样设置以后,yarn-site.xml配置的变量就能读到相应的值,上述错误消失。
分享到:
评论

相关推荐

    MR-JE故障排除篇.pdf

    ### MR-JE故障排除篇知识点总结 #### 一、安全注意事项 - **A-1 安全注意事项概览** - 使用前需彻底阅读技术资料集、使用说明书及相关资料,确保正确使用。 - 技术资料集中的安全注意事项分为“危险”与“注意”...

    三菱MR-J4系列伺服驱动器E7.1和32.3故障报警处理总结.docx

    ### 三菱MR-J4系列伺服驱动器E7.1和32.3故障报警处理总结 #### 一、概述 本文旨在对三菱MR-J4系列伺服驱动器在遇到E7.1和32.3故障报警时的具体处理方法进行详细阐述。通过分析故障原因及采取的解决措施,为相关...

    MR13中文说明书

    - 第一回路执行程序运行,而第二、第三回路保持定值调节的方式。 - 第二、第三回路跟踪第一回路设定值的三温区方式。 - 第一回路既可以是定值也可以是程序运行,而第二、第三回路则跟踪第一回路设定值后的测量值...

    三菱MR-J4-B系列伺服驱动使用及配置方法

    7. CN1A和CN1B是光纤插头,CN1A连接前一个设备,CN1B连接后一个设备,首台设备的CN1A连接运动控制模块。 二、接线注意事项 正/负/原点限位信号应按照常闭常开原则连接,对于常规槽型光电,遵循E311等型号的接线...

    硬盘故障导致mr任务报Failed to create directory错误及硬盘故障定位方法.docx

    当遇到"Failed to create directory"这样的错误时,通常意味着系统在尝试创建一个目录以进行任务运行或数据存储时遇到了问题。这可能是由于多种原因引起的,其中最常见的是硬盘故障。以下将详细讨论这个问题及其解决...

    吹瓶机程序FX2N-64MR有注解.rar

    【吹瓶机程序FX2N-64MR有注解.rar】是一个压缩包,其中包含了一个与三菱PLC相关的程序,特别提及了FX2N-64MR型号。FX2N系列是三菱电机推出的一款中型可编程逻辑控制器(PLC),在工业自动化领域广泛应用,尤其在饮料...

    MR-J3-A系列培训教程

    MR-J3-A系列是三菱电机公司生产的一款高性能交流伺服放大器,广泛应用于各种自动化控制领域,如工业机器人、数控机床、精密加工设备等。它具备高精度、高速响应、稳定可靠的特点,能够精确控制伺服电机的旋转速度和...

    光洋DS24A_MR.rar

    这个RAR压缩包包含了DS24A_MR的主要执行程序,即"DS24A_MR.EXE"。从标签"软件"我们可以推断,这是一款应用程序,可能是用于控制、监控或者配置光洋的某些特定设备。 光洋是一家在工业自动化领域知名的公司,其产品...

    Life Changer - Canal Mr.Jonny_forexea_Work+Life_lifechanger_

    总结来说,"Life Changer"是一个由Canal Mr.Jonny创建的外汇交易自动化工具,专注于为用户提供一个既可以有效交易又能保持工作与生活平衡的解决方案。通过多EA策略和智能时间管理,它有望改变用户的交易方式,提高...

    浙江禾川编码器EN17MR-ABS-TM规格书.docx编程资料

    - 发送DataID8或DataIDC命令后,需要等待一定时间才能执行下一个命令。 - 避免使用可能导致电机磁极位置信息丢失的命令。 - 只使用规定的命令以避免编码器内部信息出错。 ##### 3. 状态字段 - **构成**: - **...

    NEC MR传感器水表设计应用笔记

    ### NEC MR传感器水表设计应用笔记 #### 一、概述 NEC电子公司推出了一种基于全闪存微计算机uPD78F0485的新型智能水表设计方案。该设计采用磁阻(MR)传感器技术替代了传统的干簧管,实现了更精确的数据采集与控制...

    三菱MELSERVO-JE伺服驱动器报警代码.pdf

    该资料集适用于MR-JE-_A和MR-JE-_B型号的伺服放大器,并提供了报警、警告的一览表以及处理方法,便于用户参考。 总的来说,这份技术资料集提供了全面的故障排除指南,包括详细的报警和警告处理方法,以及驱动记录器...

    MR+AKE+商业计划书.zip

    《MR+AKE+商业计划书》是一份详细阐述企业战略规划和执行方案的重要文档,它融合了市场研究(Market Research, MR)、关键成功因素分析(Key Assumptions and Key Effects, AKE)等内容,旨在为企业的长远发展提供...

    制冷控制系统(日本人编的,有英文注释,三菱FX2N-128MR) 6#PLC.rar

    另一方面,"CPQ-PLC2"可能是一个程序文件,其中包含了实际的PLC代码,供用户下载到PLC硬件中执行。 制冷控制系统通常包括温度传感器、控制器、压缩机、冷却器等多个组件。通过PLC,我们可以精确地监测和调节这些...

    FX1N-60MR-001四柱粉末成型液压机PLC控制系统程序.rar

    标题中的“FX1N-60MR-001四柱粉末成型液压机PLC控制系统程序.rar”揭示了我们讨论的核心是关于一个采用三菱FX1N-60MR-001系列PLC控制的四柱粉末成型液压机的控制系统程序。这个PLC型号是三菱公司生产的微型可编程...

    三菱PLC程序源码-台湾冷水空调机组程序(三菱FX2N-64MR).zip

    FX2N系列是三菱公司推出的一款中型PLC,64MR型号表示该控制器具有64个输入/输出点,具备强大的处理能力和扩展性。其特性包括:高速运算能力、丰富的内置功能指令、支持多种通信协议以及灵活的扩展模块,使其在各种...

Global site tag (gtag.js) - Google Analytics