`
ztianlong
  • 浏览: 66651 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

eclipse 连接hadoop

 
阅读更多

由于我用的hadoop是1.0.4,网上大部分教程都是0.2.0的,有一些地方不能借鉴。

 

eclipse的hadoop的插件可以从网上下载,或者自己从下载的hadoop包里边编译而来(具体方法搜下即可)。

拿到插件后放到eclipse安装目录下的plugins目录下即可。然后重启eclipse。

 

用eclipse建立 DFS Locations后,发现不能连接到HDFS。

仔细检查了配置,没有错。

 

环境是:

虚拟机下的ubuntu 作为hadoop的伪分布式环境,ip 192.168.0.111。

win7下的eclipse 去连接HDFS,各种不能连上。

 

无奈在ubuntu下安装了eclipse,安装了插件。在创建Hadoop Location时,Map/Reduce Master 和 DFS Master的Host 设为localhost (127.0.0.1也可),成功连上。

 

然后修改了conf/core-site.xml


将<name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

 

的value配置改为<value>hdfs://192.168.0.111:9000</value>。

 

然后重启hadoop,win7下的eclipse 可以连接虚拟机下的HDFS。

但是此时虚拟机下的eclipse不能连接HDFS,再次将虚拟机的 Map/Reduce Master 和 DFS Master的Host 设为192.168.0.111,可以连上。

 

瞬间无语...  

平时我认为绑定了localhost 或者127.0.0.1会默认绑定本机的对外ip地址(也就是说本文中的192.168.0.111)。但是hadoop并没有这样做.

 

不知道是我理解有偏差还是hadoop真的做错了?

 

 

=========

处理掉上个问题之后,在虚拟机下的eclipse能成功执行操作hdfs的程序。但是在win7下的运行程序会报org.apache.hadoop.security.AccessControlException

解决方法参见

http://39382728.blog.163.com/blog/static/353600692011101051217731/

 

 

 

分享到:
评论

相关推荐

    配置Eclipse连接Hadoop

    总结来说,配置Eclipse连接Hadoop涉及安装和配置Hadoop,安装Eclipse插件,设置Hadoop连接,编写和调试MapReduce程序,以及提交和监控作业。这个过程需要对Hadoop和Eclipse有深入的理解,通过文档和错误日志来解决...

    eclipse连接hadoop的操作文档

    是windows下eclipse连接hadoop的操作文档,注意系统环境变量一定要配置

    eclipse连接hadoop插件2.6.0/5 2.7.3

    本压缩包提供的是针对Eclipse连接Hadoop的不同版本插件,适用于不同版本的Eclipse,因为每个Eclipse版本可能需要兼容的插件版本不同。 1. **Hadoop插件的作用**: Hadoop插件为Eclipse提供了与Hadoop集群交互的...

    eclipse连接hadoop相关工具

    标题中的“eclipse连接hadoop相关工具”指的是在Eclipse集成开发环境中配置和使用Hadoop的相关组件,以便于开发和调试Hadoop MapReduce程序。这个主题涵盖了Eclipse插件、Hadoop的DLL文件以及Winutils工具,这些都是...

    eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例

    以下是对"eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例"这一主题的详细解释: 首先,让我们了解`hadoop.ddl`。DDL(Data Definition Language)通常指的是数据库中用于定义数据结构的语句,...

    eclipse连接hadoop需要的文件

    标题中的“eclipse连接hadoop需要的文件”指的是在Eclipse集成开发环境中配置Hadoop环境,以便进行Hadoop相关的开发工作。Eclipse是一款强大的Java IDE,而Hadoop是一个开源的分布式计算框架,常用于大数据处理。...

    Eclipse连接hadoop开发.doc

    【Eclipse连接Hadoop开发】 在Windows环境下进行Hadoop开发,Eclipse是一个常用的集成开发环境。本文档将详细介绍如何配置Eclipse以便连接到Hadoop集群,使得开发过程更加便捷。 **1. Hadoop开发环境配置** 1.1 ...

    Linux和Win下配置eclipse开发hadoop

    8. **配置Eclipse**: 在Eclipse的`Window &gt; Preferences &gt; Hadoop Map/Reduce`中配置Hadoop的连接信息,如Hadoop的安装路径和集群地址。 9. **创建项目**: 创建一个Map/Reduce项目,编写Hadoop程序,如WordCount...

    64位Win7下Eclipse连接Hadoop用插件2.7.4

    包含几个源编译中漏掉的包,servlet-api,commons-io,更新了htrace-core-3.1.0-incubating.jar

    eclipse安装Hadoop插件

    4. **测试连接**:当以上步骤都已完成并且集群运行正常时,应该能够通过Eclipse连接到Hadoop集群并加载其中的文件。 #### 六、释放Hadoop-Common库 1. **解压位置**:将`Hadoop-common.zip`解压至指定位置,例如`E...

    windows下连接hadoop2.2.0的eclipse+hadoop插件

    本文将详细讲解如何使用Eclipse与Hadoop 2.2.0插件进行连接,以便于在Windows操作系统上进行Hadoop相关的开发工作。 首先,我们需要确保已经安装了Eclipse IDE。Eclipse是一个开放源码的Java集成开发环境,适用于...

    在windows上eclipse搭建hadoop环境

    成功在windows的eclipse连接hadoop 具体步骤如下: 1.使用对应版本的Hadoop jar包 2.错误:winutils.exe not found 解压hadoop-common-2.2.0-bin-master.zip和hadoop_dll2.6.0.7z 。因为是Hadoop2.6环境,所以后者...

    使用elipse连接Hadoop

    标题“使用Eclipse连接Hadoop”意味着我们要探讨的是如何在流行的Java开发环境Eclipse中配置和使用Hadoop相关的工具,以便开发和调试MapReduce程序。Hadoop是一个分布式计算框架,而Eclipse则是一个广泛用于Java开发...

    eclipse搭建hadoop-3.1.2所需插件.rar

    7. **配置Hadoop环境**:在Eclipse中,右键点击项目 -&gt; "Properties" -&gt; "Hadoop Configuration",在此处配置Hadoop的安装路径和相关参数,确保Eclipse能正确连接到Hadoop集群。 8. **开发与调试**:现在,你可以...

    win7下eclipse配置hadoop的插件

    5. **测试连接**:配置完成后,你可以通过Eclipse的“资源管理器视图”(Hadoop Explorer)来连接到Hadoop集群,检查是否能列出集群中的节点和文件系统。 6. **编写和运行MapReduce程序**:现在,你已经可以在...

    eclipse 操作Hadoop插件

    1. **连接 Hadoop 集群**:配置 Hadoop 集群的相关信息,如 NameNode 地址、Hadoop 版本等,使 Eclipse 可以连接到运行中的 Hadoop 集群。 2. **资源浏览**:在 Eclipse 的 Package Explorer 或者 Project Explorer...

    Eclipse开发Hadoop相关项目本地配置插件

    5. **连接Hadoop集群**:在Eclipse中配置Hadoop连接,可以让你在本地IDE中调试运行在远程集群上的作业。通过"Big Data Tools",可以在"Window" -&gt; "Preferences" -&gt; "Big Data" -&gt; "Hadoop Cluster"中添加和管理...

    eclipse-hadoop3x-master.zip

    5. **运行和测试配置**:Eclipse的工作空间配置文件,可能包括Hadoop集群的连接信息和测试用例。 6. **文档**:可能包含README文件或其他文档,指导用户如何导入和使用该项目。 7. **设置文件**:如`settings.xml`...

    eclipse远程连接hadoop集群 hadoop-eclipse-plugin-2.6.0.jar

    windows下 eclipse操作hadoop集群 插件

    hadoop伪集群搭建及eclipse插件配置

    同时,通过在开发IDE如Eclipse中配置Hadoop插件,可以更便捷地进行开发和调试Hadoop程序。本文将详细介绍如何搭建Hadoop伪集群环境,并在Eclipse中配置插件。 首先,搭建Hadoop伪集群环境主要分为以下几个步骤: 1...

Global site tag (gtag.js) - Google Analytics