`
superlxw1234
  • 浏览: 551303 次
  • 性别: Icon_minigender_1
  • 来自: 西安
博客专栏
Bd1c0a0c-379a-31a8-a3b1-e6401e2f1523
Hive入门
浏览量:44438
社区版块
存档分类
最新评论

Cygwin中运行hadoop mapreduce任务必须设置中间暂存目录

 
阅读更多

cygwin上运行hadoop mr任务,一直报错:

 

2012-04-20 00:47:28,937 WARN org.apache.hadoop.mapred.TaskTracker: Error running child
java.io.FileNotFoundException: File C:/home/Administrator/hadoop-0.20.2/hadooptmp/mapred/local/taskTracker/jobcache/job_201204200043_0002/attempt_201204200043_0002_m_000001_0/work/tmp does not exist.
	at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
	at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
	at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
	at org.apache.hadoop.mapred.Child.main(Child.java:155)
2012-04-20 00:47:28,937 INFO org.apache.hadoop.mapred.TaskRunner: Runnning cleanup for the task
2012-04-20 00:47:28,937 INFO org.apache.hadoop.mapred.TaskTracker: Error cleaning upjava.lang.NullPointerException

 

 

最终解决:

在mapred-site.xml中添加:

<property>
  <name>mapred.child.tmp</name>
  <value>/home/Administrator/hadoop-0.20.2/child/temp</value>
  <description> To set the value of tmp directory for map and reduce tasks.
  If the value is an absolute path, it is directly assigned. Otherwise, it is
  prepended with task's working directory. The java tasks are executed with
  option -Djava.io.tmpdir='the absolute path of the tmp dir'. Pipes and
  streaming are set with environment variable,
   TMPDIR='the absolute path of the tmp dir'
  </description>
</property>
 
分享到:
评论

相关推荐

    windows下配置cygwin、hadoop等并运行mapreduce及mapreduce程序讲解

    在Windows操作系统中运行Hadoop和MapReduce程序,通常需要借助Cygwin来模拟Linux环境,因为Hadoop主要设计用于类Unix系统。Cygwin是一个提供Linux环境的开源工具,它允许用户在Windows上运行许多原本只能在Linux或...

    Cygwin+Eclipse搭建Hadoop单机开发环境-2

    Cygwin是一个在Windows上模拟Linux环境的工具,它允许你在Windows系统中运行Linux命令行工具,这对于设置Hadoop这样的开源项目非常有用。 首先,让我们了解Cygwin。Cygwin提供了一个兼容层,使Linux应用程序能够在...

    cygwin+eclipse搭建hadoop开发环境,运行wordcount

    你需要在Eclipse中安装这些插件,然后设置Hadoop的本地或远程运行配置。这涉及到配置HADOOP_HOME环境变量,以及指定Hadoop的namenode和datanode的位置。 "Hadoop环境搭建及wordcount实例运行"文档将带你了解Hadoop...

    在Windows上的Cygwin环境上安装Hadoop指南

    下载Hadoop-Eclipse插件,按照官方文档配置后,你就可以在Eclipse中创建、运行和调试MapReduce程序了。 需要注意的是,虽然Cygwin提供了Linux模拟环境,但仍然可能存在一些兼容性问题。因此,有时开发者会选择使用...

    最新版cygwin4hadoop,cygwin2.761

    在Cygwin4hadoop的压缩包中,"cygwin4hadoop"很可能是包含了一系列预配置的Cygwin安装文件和设置,专门针对Hadoop环境进行了优化。这可能包括了安装脚本、必要的软件包列表,甚至可能有已经配置好的Hadoop二进制文件...

    Cygwin+Eclipse搭建Hadoop单机开发环境离线包-cygwin-setup

    - 完成安装后,设置环境变量,确保Cygwin的bin目录在PATH中。 2. **配置SSH** - 启动Cygwin终端,使用`ssh-host-config`命令进行配置,按照提示进行操作。 - 生成SSH密钥对,使用`ssh-keygen`命令,这将生成id_...

    windows下配置hadoop和mapreduce.pdf

    为了在 Windows 操作系统上配置 Hadoop 和 MapReduce,通常的做法是通过 Cygwin 来模拟 Linux 环境。Cygwin 是一个在 Windows 上运行的类 Unix 环境,能够提供必要的工具和支持,使用户能够在 Windows 平台上执行...

    Hadoop之MapReduce的Java实现在windows下开发需要的winutils等文件

    安装和配置Hadoop时,你需要设置HADOOP_HOME环境变量指向Hadoop的安装路径,并将bin目录添加到PATH环境变量中,以便命令行可以找到`winutils.exe`。此外,还需要配置Hadoop的core-site.xml文件,特别是设置`fs....

    使用IBM的MapReduce Tools for Eclipse插件简化Hadoop开发和部署文档

    之后,只需像运行普通Java程序一样运行MapReduce任务,Eclipse将自动处理与Hadoop集群的交互,显示任务执行的日志信息。 在日志信息中,可以看到如`JobClient`、`FileInputFormat`、`MapTask`和`ReduceTask`等关键...

    Cygwin+Eclipse搭建Hadoop单机开发环境-3

    在本教程中,我们将深入探讨如何使用Cygwin和Eclipse搭建Hadoop的单机开发环境,以便在Windows操作系统上进行高效的数据处理和分析。Cygwin是一个提供Linux-like环境的开源工具集,使得Windows用户可以运行原本为...

    Cygwin+Eclipse搭建Hadoop单机开发环境-1

    下载Hadoop的源代码或二进制发行版,解压到你电脑上的一个目录,然后更新Hadoop配置文件(如`conf/hadoop-env.sh`),设置HADOOP_HOME指向你的Hadoop安装路径,并根据Cygwin的路径调整JAVA_HOME。 在Eclipse中创建...

    hadoop Windows 运行环境

    首先,Hadoop依赖于Java运行环境(JRE),因此在Windows上运行Hadoop之前,必须先安装并配置好Java。其次,Hadoop通常依赖于Unix/Linux命令行工具,如SSH和脚本语言,因此在Windows上可能需要安装额外的模拟工具,如...

    使用IBM MapReduce tools简化hadoop开发和部署

    - 打开Eclipse,选择`Window`-&gt;`Preferences`-&gt;`Hadoop Home Directory`,设置Hadoop的解压目录作为环境变量。 - 确保Hadoop环境配置正确无误,包括JDK和Cygwin的安装等。 3. **创建MapReduce项目**: - 在...

    hadoop-2.6.4 windows版本,bin目录包括hadoop.dll winutils.exe hadoop-2.6.0\bin

    在Hadoop中,hadoop.dll可能包含了Hadoop运行时环境的核心功能,如网络通信、数据处理和任务调度等。它为Java编写的Hadoop应用程序提供了与Windows操作系统交互的接口。 winutils.exe是Hadoop在Windows环境下运行的...

    hadoop运行wordcount实例

    - 执行 `bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output` 来运行 WordCount 程序,其中 `input` 是 HDFS 上的输入目录,`output` 是输出结果的目录。 6. **查看输出结果**: - 使用 `bin/...

    hadoop2.71 window环境下运行文件

    在Hadoop 2.7.1版本中,Windows环境下的配置和运行对于初学者来说可能具有一定的挑战性,因为Hadoop最初是为Linux系统设计的。不过,通过一些额外的步骤,我们可以在Windows上搭建Hadoop环境并运行相关命令。以下是...

    window环境整合运行Hadoop资源包(压缩包以及所需依赖)

    例如,`core-site.xml`中应指定临时目录,`hdfs-site.xml`用于配置HDFS参数,`mapred-site.xml`则用于MapReduce。 3. 初始化HDFS: - 运行`hdfs namenode -format`命令,对NameNode进行格式化。这一步将创建HDFS的...

    hadoop-2.7.5-bin压缩包,适合在window平台运行hadoop和spark程序,其中的文件已做替换

    2. **Windows兼容性**:虽然Hadoop最初设计是运行在Linux系统上,但通过使用像cygwin这样的工具,可以在Windows上模拟Unix环境。Hadoop-2.7.5-bin的版本已经过调整,可以直接在Windows上运行,无需额外的环境配置。 ...

    Hadoop Windows系统安装包 和 winutils的文件

    3. **配置环境变量**:在Windows系统中,需要设置`HADOOP_HOME`环境变量指向Hadoop的安装目录,并在`PATH`变量中添加`%HADOOP_HOME%\bin`,这样就可以在命令行中直接运行Hadoop命令了。 4. **配置Hadoop**:打开`C:...

Global site tag (gtag.js) - Google Analytics