`
hyjiang1989
  • 浏览: 102154 次
  • 性别: Icon_minigender_1
  • 来自: 江西
社区版块
存档分类
最新评论

Win7 eclipse Hadoop Failed to set permissions of path

 
阅读更多

hadoop1.0.2在windows远程调试linux的程序时,报错:

12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
12/04/24 15:32:44 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
    at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)
    at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
    at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)
    at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)
    at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:856)
    at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
    at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:500)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530)
    at com.hadoop.learn.test.WordCountTest.main(WordCountTest.java:85)

 

这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。

解决方法是,修改/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,注释掉即可(有些粗暴,在Window下,可以不用检查)

......
  private static void checkReturnValue(boolean rv, File p,
                                       FsPermission permission
                                       ) throws IOException {
    /**
if (!rv) {
throw new IOException("Failed to set permissions of path: " + p +
" to " +
String.format("%04o", permission.toShort()));
}
**/
  }
......

 重新编译打包hadoop-core-1.0.2.jar,替换掉hadoop-1.0.2根目录下的hadoop-core-1.0.2.jar即可。

也可以把源码中的org.apache.hadoop.fs包一起拷贝到项目中,然后修改FileUtil.java中的checkReturnValue方法把里面的内容注释掉即可

替换之后,刷新项目,设置好正确的jar包依赖,现在再运行WordCountTest,即可。

分享到:
评论

相关推荐

    hadoop-core-1.2.0解决eclipse Hadoop Failed to set permissions of path错误

    eclipse远程调试hadoop时 报出eclipse Hadoop Failed to set permissions of path错误 修改hadoop core包中FileUtil java文件 里面有checkReturnValue方法 将代码throw new IOException "Failed to set ...

    hadoop1.0 Failed to set permissions of path 解决方案

    eclipse运行作业 Failed to set permissions of path: \tmp\hadoop-admin\mapred\staging\Administrator-1506477061\.staging to 0700 :Windows环境下的Hadoop TaskTracker无法正常启动 包括0.20.204、0.20.205、...

    Failed to set permissions of path: \tmp\hadoop-Administrator

    Failed to set permissions of path: \tmp\hadoop-Administrator,的解决方法,更换hadoop-core-1.0.2-modified.jar包

    eclipse hadoop2 插件

    7. **最佳实践**:为了充分利用这个插件,建议保持Eclipse、Hadoop插件和Hadoop集群的版本协调一致,同时定期更新插件以获取最新的功能和修复。 8. **学习资源**:网上有许多教程和社区资源可以帮助学习如何使用...

    eclipse hadoop 例子源代码

    【标题】:“Eclipse Hadoop 例子源代码” 在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。Eclipse作为Java开发的主流集成开发环境(IDE),也是编写和调试Hadoop程序的重要...

    解决nutch在window系统安装问题

    解决nutch在window系统安装报错问题Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-tom\mapred\staging\tom1698089073\.staging to 0700,替换jar包OK!

    eclipse安装Hadoop插件

    ### Eclipse安装Hadoop插件详解 #### 一、前言 随着大数据技术的快速发展,Hadoop作为处理海量数据的重要工具之一,其应用越来越广泛。为了更好地利用Eclipse进行Hadoop程序开发,安装Hadoop Eclipse插件是十分...

    Eclipse Hadoop2.7插件

    Eclipse Hadoop2.7插件是专门为Java开发者设计的一款工具,它允许用户在流行的集成开发环境(IDE)Eclipse中直接进行Hadoop项目的开发、调试和管理。这个插件极大地简化了Hadoop应用程序的创建过程,使得开发人员...

    hadoop-core-1.1.1.jar

    12/04/24 15:32:44 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\...

    hadoop-core-1.0.3.jar

    Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator1702422322\.staging to 0700 这个错误是win中开发特有的错误,文件...

    win7下eclipse配置hadoop的插件

    标题中提到的关键是"win7下eclipse配置hadoop的插件",这意味着我们要在Windows 7操作系统上,利用Eclipse进行Hadoop开发的环境配置。这通常包括以下几个步骤: 1. **下载Hadoop插件**:这里提到的`hadoop-eclipse-...

    eclipse配置hadoop

    Eclipse 配置 Hadoop 及 MapReduce 开发指南 一、Eclipse 中配置 Hadoop 插件 配置 Hadoop 插件是使用 Eclipse 进行 MapReduce 开发的第一步。首先,需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar ...

    hadoop-core-1.2.2-SNAPSHOT.jar

    windows下搭建nutch会...java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator606301699\.staging to 0700 此jar包是已经注释好 的然后从新编译的jar。

    eclipse hadoop插件

    Eclipse Hadoop插件是开发Hadoop应用的重要工具,它为Eclipse集成开发环境(IDE)提供了对Hadoop生态系统的支持。本篇文章将详细介绍如何在Windows 64位环境下安装和使用Eclipse Hadoop插件,以及插件的主要功能。 ...

    去权限后的Hadoop-eclipse-1.2.1.jar插件

    Failed to set permissions of path: " + p + " to " + String format "o" permission toShort ; } } 之后编译成功的hadoop core 1 2 1 jar的jar包(这个可以替换Maven创建Hadoop1 2...

    eclipse hadoop 2.6.1插件

    编译的eclipse hadoop 2.6.1插件

    eclipse hadoop2.7.1 plugin 配置

    在IT行业中,Eclipse是一款广泛使用的Java集成开发环境(IDE),而Hadoop是Apache软件基金会的一个开源项目,主要用于处理和存储大数据。`eclipse hadoop2.7.1 plugin`是为了方便开发者在Eclipse中进行Hadoop项目...

    hadoop-core-1.2.1.jar

    ERROR security.UserGroupInformation: PriviledgedActionException as:chuck cause:java.io.IOException: Failed to set permissions of path: 分析问题: 属于windows下的eclipse中访问的权限问题,需要重新打包...

    eclipse 操作Hadoop插件

    标题 "Eclipse 操作 Hadoop 插件" 涉及到的是在集成开发环境 Eclipse 中使用特定插件来管理并操作 Hadoop 分布式文件系统(HDFS)的技能。这一插件允许开发者直接在 Eclipse 中进行 Hadoop 文件系统的交互,而无需...

    eclipse hadoop2.7.4插件

    附件为eclipse的hadoop插件,使用hadoop2.7.4和 eclipse4.7.0 ,在win7 64bit 环境下进行编译生产。可以正常使用。

Global site tag (gtag.js) - Google Analytics