cygwin上运行hadoop mr任务,一直报错:
2012-04-20 00:47:28,937 WARN org.apache.hadoop.mapred.TaskTracker: Error running child
java.io.FileNotFoundException: File C:/home/Administrator/hadoop-0.20.2/hadooptmp/mapred/local/taskTracker/jobcache/job_201204200043_0002/attempt_201204200043_0002_m_000001_0/work/tmp does not exist.
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
at org.apache.hadoop.mapred.Child.main(Child.java:155)
2012-04-20 00:47:28,937 INFO org.apache.hadoop.mapred.TaskRunner: Runnning cleanup for the task
2012-04-20 00:47:28,937 INFO org.apache.hadoop.mapred.TaskTracker: Error cleaning upjava.lang.NullPointerException
最终解决:
在mapred-site.xml中添加:
<property>
<name>mapred.child.tmp</name>
<value>/home/Administrator/hadoop-0.20.2/child/temp</value>
<description> To set the value of tmp directory for map and reduce tasks.
If the value is an absolute path, it is directly assigned. Otherwise, it is
prepended with task's working directory. The java tasks are executed with
option -Djava.io.tmpdir='the absolute path of the tmp dir'. Pipes and
streaming are set with environment variable,
TMPDIR='the absolute path of the tmp dir'
</description>
</property>
分享到:
相关推荐
在Windows操作系统中运行Hadoop和MapReduce程序,通常需要借助Cygwin来模拟Linux环境,因为Hadoop主要设计用于类Unix系统。Cygwin是一个提供Linux环境的开源工具,它允许用户在Windows上运行许多原本只能在Linux或...
Cygwin是一个在Windows上模拟Linux环境的工具,它允许你在Windows系统中运行Linux命令行工具,这对于设置Hadoop这样的开源项目非常有用。 首先,让我们了解Cygwin。Cygwin提供了一个兼容层,使Linux应用程序能够在...
你需要在Eclipse中安装这些插件,然后设置Hadoop的本地或远程运行配置。这涉及到配置HADOOP_HOME环境变量,以及指定Hadoop的namenode和datanode的位置。 "Hadoop环境搭建及wordcount实例运行"文档将带你了解Hadoop...
下载Hadoop-Eclipse插件,按照官方文档配置后,你就可以在Eclipse中创建、运行和调试MapReduce程序了。 需要注意的是,虽然Cygwin提供了Linux模拟环境,但仍然可能存在一些兼容性问题。因此,有时开发者会选择使用...
在Cygwin4hadoop的压缩包中,"cygwin4hadoop"很可能是包含了一系列预配置的Cygwin安装文件和设置,专门针对Hadoop环境进行了优化。这可能包括了安装脚本、必要的软件包列表,甚至可能有已经配置好的Hadoop二进制文件...
- 完成安装后,设置环境变量,确保Cygwin的bin目录在PATH中。 2. **配置SSH** - 启动Cygwin终端,使用`ssh-host-config`命令进行配置,按照提示进行操作。 - 生成SSH密钥对,使用`ssh-keygen`命令,这将生成id_...
为了在 Windows 操作系统上配置 Hadoop 和 MapReduce,通常的做法是通过 Cygwin 来模拟 Linux 环境。Cygwin 是一个在 Windows 上运行的类 Unix 环境,能够提供必要的工具和支持,使用户能够在 Windows 平台上执行...
安装和配置Hadoop时,你需要设置HADOOP_HOME环境变量指向Hadoop的安装路径,并将bin目录添加到PATH环境变量中,以便命令行可以找到`winutils.exe`。此外,还需要配置Hadoop的core-site.xml文件,特别是设置`fs....
之后,只需像运行普通Java程序一样运行MapReduce任务,Eclipse将自动处理与Hadoop集群的交互,显示任务执行的日志信息。 在日志信息中,可以看到如`JobClient`、`FileInputFormat`、`MapTask`和`ReduceTask`等关键...
在本教程中,我们将深入探讨如何使用Cygwin和Eclipse搭建Hadoop的单机开发环境,以便在Windows操作系统上进行高效的数据处理和分析。Cygwin是一个提供Linux-like环境的开源工具集,使得Windows用户可以运行原本为...
下载Hadoop的源代码或二进制发行版,解压到你电脑上的一个目录,然后更新Hadoop配置文件(如`conf/hadoop-env.sh`),设置HADOOP_HOME指向你的Hadoop安装路径,并根据Cygwin的路径调整JAVA_HOME。 在Eclipse中创建...
首先,Hadoop依赖于Java运行环境(JRE),因此在Windows上运行Hadoop之前,必须先安装并配置好Java。其次,Hadoop通常依赖于Unix/Linux命令行工具,如SSH和脚本语言,因此在Windows上可能需要安装额外的模拟工具,如...
在Hadoop中,hadoop.dll可能包含了Hadoop运行时环境的核心功能,如网络通信、数据处理和任务调度等。它为Java编写的Hadoop应用程序提供了与Windows操作系统交互的接口。 winutils.exe是Hadoop在Windows环境下运行的...
- 执行 `bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output` 来运行 WordCount 程序,其中 `input` 是 HDFS 上的输入目录,`output` 是输出结果的目录。 6. **查看输出结果**: - 使用 `bin/...
在Hadoop 2.7.1版本中,Windows环境下的配置和运行对于初学者来说可能具有一定的挑战性,因为Hadoop最初是为Linux系统设计的。不过,通过一些额外的步骤,我们可以在Windows上搭建Hadoop环境并运行相关命令。以下是...
例如,`core-site.xml`中应指定临时目录,`hdfs-site.xml`用于配置HDFS参数,`mapred-site.xml`则用于MapReduce。 3. 初始化HDFS: - 运行`hdfs namenode -format`命令,对NameNode进行格式化。这一步将创建HDFS的...
2. **Windows兼容性**:虽然Hadoop最初设计是运行在Linux系统上,但通过使用像cygwin这样的工具,可以在Windows上模拟Unix环境。Hadoop-2.7.5-bin的版本已经过调整,可以直接在Windows上运行,无需额外的环境配置。 ...
3. **配置环境变量**:在Windows系统中,需要设置`HADOOP_HOME`环境变量指向Hadoop的安装目录,并在`PATH`变量中添加`%HADOOP_HOME%\bin`,这样就可以在命令行中直接运行Hadoop命令了。 4. **配置Hadoop**:打开`C:...