- 浏览: 109113 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
zenoh:
是啊,我也纳闷,apache hadoop2.2.0的已经修复 ...
安装CDH5 hadoop2.2.0遇到的配置问题 -
Molisa:
你好,我有两个问题请教一下:1.为了密码安全,你有没有试过使用 ...
使用oozie调度sqoop从oracle导入hbase
hadoop版本:hadoop-2.2.0-cdh5.0.0-beta-1
今天在执行sqoop往hbase里导数的时候,DN节点报了下面的错:
看异常是相应的jar没找到
为了执行MR,在yarn-site.xml中有这样一个的配置:
应该是这里的变量没有读到,导致这个原因应该是相应的环境变量没设置,
vi ~/.bashrc
增加:
这样设置以后,yarn-site.xml配置的变量就能读到相应的值,上述错误消失。
今天在执行sqoop往hbase里导数的时候,DN节点报了下面的错:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnRuntimeException at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2521) at java.lang.Class.getMethod0(Class.java:2764) at java.lang.Class.getMethod(Class.java:1653) at sun.launcher.LauncherHelper.getMainMethod(LauncherHelper.java:494) at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:486) Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException at java.net.URLClassLoader$1.run(URLClassLoader.java:366) at java.net.URLClassLoader$1.run(URLClassLoader.java:355) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:354) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 6 more
看异常是相应的jar没找到
为了执行MR,在yarn-site.xml中有这样一个的配置:
<property> <description>Classpath for typical applications.</description> <name>yarn.application.classpath</name> <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*, $HADOOP_COMMON_HOME/share/hadoop/common/lib/*, $HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*, $YARN_HOME/share/hadoop/yarn/*,$YARN_HOME/share/hadoop/yarn/lib/*, $YARN_HOME/share/hadoop/mapreduce/*,$YARN_HOME/share/hadoop/mapreduce/lib/*</value> </property>
应该是这里的变量没有读到,导致这个原因应该是相应的环境变量没设置,
vi ~/.bashrc
增加:
export HADOOP_MAPRED_HOME=${HADOOP_HOME} export HADOOP_COMMON_HOME=${HADOOP_HOME} export HADOOP_HDFS_HOME=${HADOOP_HOME} export YARN_HOME=${HADOOP_HOME} export HADOOP_YARN_HOME=${HADOOP_HOME} export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
这样设置以后,yarn-site.xml配置的变量就能读到相应的值,上述错误消失。
发表评论
-
-snn.saturn.local:8485 failed on connection exception: java.net.ConnectException
2014-05-07 15:12 02014-01-26 00:46:35,631 INFO ... -
Hadoop 归档 和HIVE 如何使用har 归档 文件
2014-05-01 23:47 1052Hadoop archive 唯一的优势可能就是将众多的小 ... -
Hadoop的JVM重用
2014-05-01 20:21 1098Hadoop中有个参数是mapred.job.reuse. ... -
Hadoop 优化总结(一)
2014-04-27 12:09 15951. 使用自定义Writable 自带的Text很好用,但 ... -
hadoop调优
2014-04-26 12:01 0硬件级别提高磁盘IO的 ... -
启动hadoop 报错:A fatal error has been detected by the Java Runtime
2014-04-25 10:10 0今天在重启hadoop集群的时候,一个节点报了下面的一个错,由 ... -
java.io.IOException: Cannot obtain block length for LocatedBlock{BP-
2014-04-25 10:07 0今天的job在执行的时候,出现了下述的异常: java. ... -
hadoop报的一个job提交的错
2014-04-24 10:56 0Diagnostics: Application a ... -
hadoop hdfs HA 启动不了ZKFC
2014-04-23 11:47 0测试环境master1 系统重做了,原来的所有数据都丢失,后来 ... -
Hadoop平台优化综述(一)
2014-04-19 18:48 01. 概述 随着企业 ... -
大数据处理分析的六大最好工具
2014-04-19 11:59 0Hadoop Hadoop 是一个能够对大量数据进行分布式处 ... -
Shuffle$ShuffleError
2014-04-06 10:10 0Error: org.apache.hadoop.mapr ... -
hadoop2.2.0 CDH 源码编译
2014-03-27 13:29 01 下载 源码 wget chd5 2 安装软件 yum ... -
Map/Reduce Task JVM 堆大小设置优化
2014-03-13 15:15 1892前一阵子发现用户提交的hive query和hadoop jo ... -
hadoop参数配置优化
2014-03-13 15:12 717hadoop.tmp.dir 默认值: /tmp 说明: 尽 ... -
Hadoop为什么处理小数据量时效果不好?
2014-03-11 16:50 1167Every file, directory and bloc ... -
Hadoop : MapReduce中的Shuffle和Sort分析
2014-03-03 14:06 885MapReduce 是现今一个非常流行的分布式计算框架,它被 ... -
关于Hadoop的shuffle
2014-03-03 11:16 886我们知道每个reduce task输入的key都是按照k ... -
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError:
2014-03-01 23:17 4272hadoop执行JOB在reduce阶段 ... -
hadoop Caused by: java.io.IOException: Filesystem closed
2014-02-25 13:46 6537今天在执行hive的时候报了下面的错: 2014-02 ...
相关推荐
### MR-JE故障排除篇知识点总结 #### 一、安全注意事项 - **A-1 安全注意事项概览** - 使用前需彻底阅读技术资料集、使用说明书及相关资料,确保正确使用。 - 技术资料集中的安全注意事项分为“危险”与“注意”...
### 三菱MR-J4系列伺服驱动器E7.1和32.3故障报警处理总结 #### 一、概述 本文旨在对三菱MR-J4系列伺服驱动器在遇到E7.1和32.3故障报警时的具体处理方法进行详细阐述。通过分析故障原因及采取的解决措施,为相关...
- 第一回路执行程序运行,而第二、第三回路保持定值调节的方式。 - 第二、第三回路跟踪第一回路设定值的三温区方式。 - 第一回路既可以是定值也可以是程序运行,而第二、第三回路则跟踪第一回路设定值后的测量值...
7. CN1A和CN1B是光纤插头,CN1A连接前一个设备,CN1B连接后一个设备,首台设备的CN1A连接运动控制模块。 二、接线注意事项 正/负/原点限位信号应按照常闭常开原则连接,对于常规槽型光电,遵循E311等型号的接线...
当遇到"Failed to create directory"这样的错误时,通常意味着系统在尝试创建一个目录以进行任务运行或数据存储时遇到了问题。这可能是由于多种原因引起的,其中最常见的是硬盘故障。以下将详细讨论这个问题及其解决...
【吹瓶机程序FX2N-64MR有注解.rar】是一个压缩包,其中包含了一个与三菱PLC相关的程序,特别提及了FX2N-64MR型号。FX2N系列是三菱电机推出的一款中型可编程逻辑控制器(PLC),在工业自动化领域广泛应用,尤其在饮料...
MR-J3-A系列是三菱电机公司生产的一款高性能交流伺服放大器,广泛应用于各种自动化控制领域,如工业机器人、数控机床、精密加工设备等。它具备高精度、高速响应、稳定可靠的特点,能够精确控制伺服电机的旋转速度和...
这个RAR压缩包包含了DS24A_MR的主要执行程序,即"DS24A_MR.EXE"。从标签"软件"我们可以推断,这是一款应用程序,可能是用于控制、监控或者配置光洋的某些特定设备。 光洋是一家在工业自动化领域知名的公司,其产品...
总结来说,"Life Changer"是一个由Canal Mr.Jonny创建的外汇交易自动化工具,专注于为用户提供一个既可以有效交易又能保持工作与生活平衡的解决方案。通过多EA策略和智能时间管理,它有望改变用户的交易方式,提高...
- 发送DataID8或DataIDC命令后,需要等待一定时间才能执行下一个命令。 - 避免使用可能导致电机磁极位置信息丢失的命令。 - 只使用规定的命令以避免编码器内部信息出错。 ##### 3. 状态字段 - **构成**: - **...
### NEC MR传感器水表设计应用笔记 #### 一、概述 NEC电子公司推出了一种基于全闪存微计算机uPD78F0485的新型智能水表设计方案。该设计采用磁阻(MR)传感器技术替代了传统的干簧管,实现了更精确的数据采集与控制...
该资料集适用于MR-JE-_A和MR-JE-_B型号的伺服放大器,并提供了报警、警告的一览表以及处理方法,便于用户参考。 总的来说,这份技术资料集提供了全面的故障排除指南,包括详细的报警和警告处理方法,以及驱动记录器...
《MR+AKE+商业计划书》是一份详细阐述企业战略规划和执行方案的重要文档,它融合了市场研究(Market Research, MR)、关键成功因素分析(Key Assumptions and Key Effects, AKE)等内容,旨在为企业的长远发展提供...
另一方面,"CPQ-PLC2"可能是一个程序文件,其中包含了实际的PLC代码,供用户下载到PLC硬件中执行。 制冷控制系统通常包括温度传感器、控制器、压缩机、冷却器等多个组件。通过PLC,我们可以精确地监测和调节这些...
标题中的“FX1N-60MR-001四柱粉末成型液压机PLC控制系统程序.rar”揭示了我们讨论的核心是关于一个采用三菱FX1N-60MR-001系列PLC控制的四柱粉末成型液压机的控制系统程序。这个PLC型号是三菱公司生产的微型可编程...
FX2N系列是三菱公司推出的一款中型PLC,64MR型号表示该控制器具有64个输入/输出点,具备强大的处理能力和扩展性。其特性包括:高速运算能力、丰富的内置功能指令、支持多种通信协议以及灵活的扩展模块,使其在各种...