`
jveqi
  • 浏览: 326673 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

eclipse连接hdfs连接不上

 
阅读更多
1、集群:

[root@localhost conf]# more core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://192.168.105.10:9000</value>
        </property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop1.2.1/tmp/hadoop_tmp</value>
        </property>

</configuration>

2、开发机WIN7 用户名admin。通过eclipse连接hdfs,连接不上。

hadoop自带一个WordCount程序,我用admin身份去执行的时候, 但执行的时候一直报Permission denied错误。研究了非常久,才发现hadoop在进行map-reduce的时候,需要将临时文件写到/tmp目录,但上述的步骤中我们并没有为admin授权这个目录的写权限。

      解决方式:以root身份登陆,执行hadoop fs -chmod -R 777 /home/hadoop1.2.1  就可以解决问题了
分享到:
评论

相关推荐

    eclipse链接hdfs方式

    ### Eclipse 连接 HDFS 方式详解 #### 一、准备工作与环境配置 为了实现 Eclipse 与 Hadoop 2.7.0 的远程连接,首先需要准备以下几项: 1. **Hadoop-2.7.0 Tar 包**: - 下载最新的 Hadoop-2.7.0 版本的压缩包。...

    eclipse操作HDFS需要文件

    当我们谈论“eclipse操作HDFS需要文件”时,实际上是指在Eclipse中与Hadoop的分布式文件系统(HDFS)进行交互所需的组件和配置。 首先,`hadoop-eclipse-plugin-2.6.0.jar`是一个重要的文件,它是Eclipse的一个插件...

    eclipse的hdfs插件.rar

    综上所述,Eclipse的HDFS插件通过集成Hadoop开发所需的各种功能,极大地简化了MapReduce项目的开发过程,使开发者能够更加专注于编写业务逻辑,而无需关心底层的系统配置和操作细节。对于熟悉Eclipse环境的Hadoop...

    hadoop-2.6.5 + eclipse附配置hdfs相关文件.zip

    3. **设置HDFS连接**:在Eclipse中创建新的HDFS连接,包括NameNode地址、端口、用户名等信息。 4. **编写和运行MapReduce程序**:使用Eclipse创建Java项目,编写MapReduce代码,并使用Eclipse的Run As &gt; Hadoop Job...

    配置Eclipse连接Hadoop

    总结来说,配置Eclipse连接Hadoop涉及安装和配置Hadoop,安装Eclipse插件,设置Hadoop连接,编写和调试MapReduce程序,以及提交和监控作业。这个过程需要对Hadoop和Eclipse有深入的理解,通过文档和错误日志来解决...

    eclipse连接hadoop插件2.6.0/5 2.7.3

    本压缩包提供的是针对Eclipse连接Hadoop的不同版本插件,适用于不同版本的Eclipse,因为每个Eclipse版本可能需要兼容的插件版本不同。 1. **Hadoop插件的作用**: Hadoop插件为Eclipse提供了与Hadoop集群交互的...

    Hadoop与Eclipse连接所需文件

    总的来说,"Hadoop与Eclipse连接所需文件"这个压缩包旨在提供一个便捷的环境,让开发者能够在Eclipse中快速建立Hadoop开发环境,进行MapReduce编程。通过安装正确的插件、配置Hadoop连接以及使用示例代码,用户可以...

    elcipse java hadoop操作hdfs的api

    10. **测试和调试**:编写单元测试以验证代码的正确性,可以使用HDFS的MiniCluster进行本地测试,这允许在不连接实际集群的情况下运行测试。 通过学习和实践这些知识点,初学者能够熟练掌握使用Eclipse和Hadoop的...

    Win10的eclipse连接CentOS的Hadoop集群.doc

    在Windows 10环境下使用Eclipse连接到CentOS上的Hadoop集群是一项常见的开发任务,尤其对于分布式计算和大数据处理的开发者来说。以下是一份详细步骤的指南,帮助你完成这一配置。 首先,确保你的Windows 10系统上...

    eclipse连接hadoop相关工具

    在Windows上配置Eclipse连接Hadoop时,首先需要确保正确安装了JDK,并设置了JAVA_HOME环境变量。然后,将“hadoop-eclipse-plugin-2.7.3.jar”添加到Eclipse的插件目录,重启Eclipse,这样Eclipse就会识别并支持...

    eclipse连接haoop

    - 在 Eclipse 的项目上右键,选择 “Properties” &gt; “Java Build Path” &gt; “Libraries”。 - 点击 “Add External JARs...”,选择 Hadoop 目录下的所有 JAR 文件。 4. **编写测试代码**: - 创建一个新的 ...

    eclipse连接hadoop需要的文件

    标题中的“eclipse连接hadoop需要的文件”指的是在Eclipse集成开发环境中配置Hadoop环境,以便进行Hadoop相关的开发工作。Eclipse是一款强大的Java IDE,而Hadoop是一个开源的分布式计算框架,常用于大数据处理。...

    Eclipse连接hadoop开发.doc

    【Eclipse连接Hadoop开发】 在Windows环境下进行Hadoop开发,Eclipse是一个常用的集成开发环境。本文档将详细介绍如何配置Eclipse以便连接到Hadoop集群,使得开发过程更加便捷。 **1. Hadoop开发环境配置** 1.1 ...

    eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例

    以下是对"eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例"这一主题的详细解释: 首先,让我们了解`hadoop.ddl`。DDL(Data Definition Language)通常指的是数据库中用于定义数据结构的语句,...

    hadoop伪集群搭建及eclipse插件配置

    4. 创建Map/Reduce项目:在Eclipse中创建一个新的Map/Reduce项目,并把Hadoop程序代码放入其中,同时确保项目中包含了HDFS的配置文件。 5. 调试与运行程序:在Eclipse中运行Hadoop程序,此时程序将会在Hadoop伪集群...

    连接Hadoop需要导入的包名

    连接Hadoop集群时需要导入很多包,但是这些包多的不知道那些是必要的所以在此列出,工程必要的包。

    hadoop2.7.6、连接eclipse

    将Hadoop与Eclipse连接起来,可以方便地在Eclipse中开发、测试和调试Hadoop MapReduce程序。以下是一些关于如何连接Hadoop 2.7.6到Eclipse的重要知识点: 1. **安装Hadoop**: 首先,你需要在你的系统上安装Hadoop ...

    搭建hadoop后hdfs基本操作 ecplisec操作

    本文将深入探讨在搭建好Hadoop环境后,如何使用Eclipse进行HDFS的基本操作。 首先,我们要理解HDFS的基本概念。HDFS是一种分布式文件系统,它将大型文件分割成块,并将这些数据块分散存储在集群中的多台服务器上,...

    在HDFS上使用Lucene的SourceCode

    1. 使用`FileSystem` API连接到HDFS并读取文件。 ```java Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path path = new Path("/path/to/file/on/hdfs"); ``` 2. 使用`...

    Win7中使用Eclipse连接虚拟机中的Linux中的Hadoop2.5.0经验总结

    本文将详细阐述如何解决在Win7中使用Eclipse连接运行在虚拟机Linux上的Hadoop 2.5.0时遇到的问题,这些解决方案同样适用于更高版本的Hadoop。 1. **解决Windows7下Eclipse代码执行MapReduce报错** 当尝试在...

Global site tag (gtag.js) - Google Analytics