`
albb0608
  • 浏览: 63958 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Eclipse插件调试Hadoop程序报/work/tmp does not exist.

阅读更多
最近再学习Hadoop,用的是Cygwin伪分布模式,今天按照书上的例子写了个小MapReduce程序,在eclipse中运行了一下,执行后报错,下面帖一下错误代码


11/12/05 16:10:35 INFO mapred.JobClient: Task Id : attempt_201112051608_0002_m_000001_2, Status : FAILED
[color=red]java.io.FileNotFoundException: File C:/hadoop/tmp/mapred/local/taskTracker/jobcache/job_201112051608_0002/attempt_201112051608_0002_m_000001_2/work/tmp does not exist.[/color]
	at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
	at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
	at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
	at org.apache.hadoop.mapred.Child.main(Child.java:155)


通过网上的文章了解到是"mapred.child.tmp"配置项的原因,需要在“mapred-site.xml”配置文件中配置“mapred.child.tmp”属性

	<property> 
		<name>mapred.child.tmp</name>   
		<value>/hadoop/childtmp</value>
	</property>


我又仔细的查看了一下“mapred-site.xml”配置文件,配置确实存在,那是哪里出了问题呢,我就继续查找,在群里不断的问,后来网友给了个提示,我修改了一下,果然好用。

eclipse中的插件中的默认选项有的还需要修改。

默认的配置是:




我按照“mapred-site.xml”中的配置修改了一下




这样执行就不会再报那个错误了。





  • 大小: 17.3 KB
  • 大小: 21 KB
分享到:
评论

相关推荐

    eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例

    以下是对"eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例"这一主题的详细解释: 首先,让我们了解`hadoop.ddl`。DDL(Data Definition Language)通常指的是数据库中用于定义数据结构的语句,...

    winutils+hadoop.dll+eclipse插件(hadoop2.7)

    总的来说,`winutils.exe`和`hadoop.dll`是Hadoop在Windows运行的基础,而Eclipse插件则为开发者提供了强大的Hadoop开发和调试工具。正确配置这些组件,将使你在Windows上进行Hadoop开发变得更加便捷和高效。

    eclipse hadoop2 插件

    Eclipse Hadoop2 插件是为开发人员提供的一种强大工具,它允许用户在Eclipse集成开发环境中(IDE)直接编写、调试和管理Hadoop项目。这个插件针对Hadoop 2.x版本进行了优化,提供了丰富的功能来简化Hadoop应用程序的...

    winutils.exe/hadoop.dll下载,IDE调试hadoop程序。

    总的来说,对于在Windows上开发和调试Hadoop程序的开发者来说,了解和正确使用winutils.exe和hadoop.dll是至关重要的。同时,掌握如何配置IDE以进行远程调试,以及熟悉SSH工具的使用,也是提高工作效率的重要技能。...

    hadoop1.1.2 eclipse 插件

    在用eclipse 搭建hadoop...&lt;property name="hadoop.root" location="${root}/../../../"/&gt; ${ant.project.name}"/&gt; ${basedir}"/&gt; &lt;property name="hadoop.root" location="${root}/../../../"/&gt; 替换为 Xml代码 ...

    eclipse安装Hadoop插件

    为了更好地利用Eclipse进行Hadoop程序开发,安装Hadoop Eclipse插件是十分必要的。本文将详细介绍如何在Eclipse中安装Hadoop插件及相关配置步骤。 #### 二、准备工作 1. **Eclipse IDE**:确保已安装最新版本的...

    eclipse连接hadoop插件2.6.0/5 2.7.3

    Hadoop插件为Eclipse提供了与Hadoop集群交互的功能,包括创建Hadoop项目、编写MapReduce程序、配置运行环境、调试和部署等。它简化了开发过程,使得开发者能够在本地环境中模拟Hadoop集群的行为,提高开发效率。 2...

    hadoop-eclipse-plugin-2.10.0.jar

    Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...

    hadoop-eclipse-plugin插件和hadoop.dll和winutile.exe.zip

    `hadoop-eclipse-plugin`是Eclipse集成开发环境中的一个插件,它使得开发者能够在Eclipse中直接编写、调试和运行Hadoop MapReduce程序,极大地提升了开发效率。在本场景中,我们讨论的是在Windows 10环境下,配合JDK...

    hadoop-eclipse插件各版本合集

    Hadoop-Eclipse插件是Apache Hadoop项目与Eclipse IDE集成的一个重要工具,它使得Hadoop开发者能够在Eclipse环境中直接创建、编辑、调试和管理Hadoop MapReduce作业,极大地提升了开发效率。本合集包含了多个版本的...

    HADOOP2.8.2 ECLIPSE插件 hadoop.dll winutils.exe一套

    自己整理生成了一套基于HADOOP2.8.2的插件,经测试可用,应该是全网第一个基于HADOOP2.8.2的ECLIPSE插件,我使用的环境JDK1.7 64位,MYECLIPSE2014 或 ECLIPSE4.4 下载包中有配置好的截图照片。

    hadoop-lzo-0.4.20.jar

    hadoop支持LZO压缩配置 将...org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec, ...

    org.apache.hadoop.eclipse_0.18.0.jar

    看清楚版本,想要其他版本的可以私聊我,版本经测试,可以用,请大家放心下载使用

    hadoop各版本--hadoop.dll,以及winutils.exe,亲测

    缺少winutils.exe回报如下错误: Could not locate executable null \bin\winutils.exe in the hadoop binaries 缺少hadoop.dll 错误如下: Unable to load native-hadoop library for your platform… using ...

    hadoop-eclipse-plugin-1.1.2.jar

    &lt;property name="hadoop.root" location="${root}/../../../"/&gt; 改成 &lt;property name="root" value="/home/hadoop/soft/hadoop-1.1.2/src/contrib/eclipse-plugin"/&gt; &lt;property name="eclipse.home" location="/...

    hadoop-eclipse-plugin-3.1.1.tar.gz

    Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的插件,用于方便地在Hadoop分布式文件系统(HDFS)上进行开发和调试MapReduce程序。这款插件是Hadoop生态系统的组成部分,它使得Java开发者能够更加...

    Hadoop开发环境的插件hadoop-eclipse-plugin-2.10.1

    Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...

    基于Eclipse的Hadoop应用开发环境配置

    基于 Eclipse 的 Hadoop 应用开发环境配置是指在 Eclipse 中配置 Hadoop 开发环境,以便开发和运行 Hadoop 应用程序。本节将对基于 Eclipse 的 Hadoop 应用开发环境配置进行详细介绍。 一、Hadoop 概述 Hadoop 是...

    eclipse运行mr插件hadoop-eclipse-plugin-2.6.0.jar

    通过这个插件,开发者可以便捷地在本地开发环境中编写和测试MapReduce程序,然后直接部署到远程Hadoop集群,降低了开发和调试的复杂性。需要注意的是,由于Hadoop的不断升级和优化,不同版本的插件可能与不同版本的...

Global site tag (gtag.js) - Google Analytics