最近再学习Hadoop,用的是Cygwin伪分布模式,今天按照书上的例子写了个小MapReduce程序,在eclipse中运行了一下,执行后报错,下面帖一下错误代码
11/12/05 16:10:35 INFO mapred.JobClient: Task Id : attempt_201112051608_0002_m_000001_2, Status : FAILED
[color=red]java.io.FileNotFoundException: File C:/hadoop/tmp/mapred/local/taskTracker/jobcache/job_201112051608_0002/attempt_201112051608_0002_m_000001_2/work/tmp does not exist.[/color]
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
at org.apache.hadoop.mapred.Child.main(Child.java:155)
通过网上的文章了解到是"mapred.child.tmp"配置项的原因,需要在“mapred-site.xml”配置文件中配置“mapred.child.tmp”属性
<property>
<name>mapred.child.tmp</name>
<value>/hadoop/childtmp</value>
</property>
我又仔细的查看了一下“mapred-site.xml”配置文件,配置确实存在,那是哪里出了问题呢,我就继续查找,在群里不断的问,后来网友给了个提示,我修改了一下,果然好用。
eclipse中的插件中的默认选项有的还需要修改。
默认的配置是:
我按照“mapred-site.xml”中的配置修改了一下
这样执行就不会再报那个错误了。
- 大小: 17.3 KB
- 大小: 21 KB
分享到:
相关推荐
以下是对"eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例"这一主题的详细解释: 首先,让我们了解`hadoop.ddl`。DDL(Data Definition Language)通常指的是数据库中用于定义数据结构的语句,...
总的来说,`winutils.exe`和`hadoop.dll`是Hadoop在Windows运行的基础,而Eclipse插件则为开发者提供了强大的Hadoop开发和调试工具。正确配置这些组件,将使你在Windows上进行Hadoop开发变得更加便捷和高效。
Eclipse Hadoop2 插件是为开发人员提供的一种强大工具,它允许用户在Eclipse集成开发环境中(IDE)直接编写、调试和管理Hadoop项目。这个插件针对Hadoop 2.x版本进行了优化,提供了丰富的功能来简化Hadoop应用程序的...
总的来说,对于在Windows上开发和调试Hadoop程序的开发者来说,了解和正确使用winutils.exe和hadoop.dll是至关重要的。同时,掌握如何配置IDE以进行远程调试,以及熟悉SSH工具的使用,也是提高工作效率的重要技能。...
在用eclipse 搭建hadoop...<property name="hadoop.root" location="${root}/../../../"/> ${ant.project.name}"/> ${basedir}"/> <property name="hadoop.root" location="${root}/../../../"/> 替换为 Xml代码 ...
为了更好地利用Eclipse进行Hadoop程序开发,安装Hadoop Eclipse插件是十分必要的。本文将详细介绍如何在Eclipse中安装Hadoop插件及相关配置步骤。 #### 二、准备工作 1. **Eclipse IDE**:确保已安装最新版本的...
Hadoop插件为Eclipse提供了与Hadoop集群交互的功能,包括创建Hadoop项目、编写MapReduce程序、配置运行环境、调试和部署等。它简化了开发过程,使得开发者能够在本地环境中模拟Hadoop集群的行为,提高开发效率。 2...
Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...
`hadoop-eclipse-plugin`是Eclipse集成开发环境中的一个插件,它使得开发者能够在Eclipse中直接编写、调试和运行Hadoop MapReduce程序,极大地提升了开发效率。在本场景中,我们讨论的是在Windows 10环境下,配合JDK...
Hadoop-Eclipse插件是Apache Hadoop项目与Eclipse IDE集成的一个重要工具,它使得Hadoop开发者能够在Eclipse环境中直接创建、编辑、调试和管理Hadoop MapReduce作业,极大地提升了开发效率。本合集包含了多个版本的...
自己整理生成了一套基于HADOOP2.8.2的插件,经测试可用,应该是全网第一个基于HADOOP2.8.2的ECLIPSE插件,我使用的环境JDK1.7 64位,MYECLIPSE2014 或 ECLIPSE4.4 下载包中有配置好的截图照片。
hadoop支持LZO压缩配置 将...org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec, ...
看清楚版本,想要其他版本的可以私聊我,版本经测试,可以用,请大家放心下载使用
缺少winutils.exe回报如下错误: Could not locate executable null \bin\winutils.exe in the hadoop binaries 缺少hadoop.dll 错误如下: Unable to load native-hadoop library for your platform… using ...
<property name="hadoop.root" location="${root}/../../../"/> 改成 <property name="root" value="/home/hadoop/soft/hadoop-1.1.2/src/contrib/eclipse-plugin"/> <property name="eclipse.home" location="/...
Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的插件,用于方便地在Hadoop分布式文件系统(HDFS)上进行开发和调试MapReduce程序。这款插件是Hadoop生态系统的组成部分,它使得Java开发者能够更加...
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
基于 Eclipse 的 Hadoop 应用开发环境配置是指在 Eclipse 中配置 Hadoop 开发环境,以便开发和运行 Hadoop 应用程序。本节将对基于 Eclipse 的 Hadoop 应用开发环境配置进行详细介绍。 一、Hadoop 概述 Hadoop 是...
通过这个插件,开发者可以便捷地在本地开发环境中编写和测试MapReduce程序,然后直接部署到远程Hadoop集群,降低了开发和调试的复杂性。需要注意的是,由于Hadoop的不断升级和优化,不同版本的插件可能与不同版本的...