由于我用的hadoop是1.0.4,网上大部分教程都是0.2.0的,有一些地方不能借鉴。
eclipse的hadoop的插件可以从网上下载,或者自己从下载的hadoop包里边编译而来(具体方法搜下即可)。
拿到插件后放到eclipse安装目录下的plugins目录下即可。然后重启eclipse。
用eclipse建立 DFS Locations后,发现不能连接到HDFS。
仔细检查了配置,没有错。
环境是:
虚拟机下的ubuntu 作为hadoop的伪分布式环境,ip 192.168.0.111。
win7下的eclipse 去连接HDFS,各种不能连上。
无奈在ubuntu下安装了eclipse,安装了插件。在创建Hadoop Location时,Map/Reduce Master 和 DFS Master的Host 设为localhost (127.0.0.1也可),成功连上。
然后修改了conf/core-site.xml
将<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
的value配置改为<value>hdfs://192.168.0.111:9000</value>。
然后重启hadoop,win7下的eclipse 可以连接虚拟机下的HDFS。
但是此时虚拟机下的eclipse不能连接HDFS,再次将虚拟机的 Map/Reduce Master 和 DFS Master的Host 设为192.168.0.111,可以连上。
瞬间无语...
平时我认为绑定了localhost 或者127.0.0.1会默认绑定本机的对外ip地址(也就是说本文中的192.168.0.111)。但是hadoop并没有这样做.
不知道是我理解有偏差还是hadoop真的做错了?
=========
处理掉上个问题之后,在虚拟机下的eclipse能成功执行操作hdfs的程序。但是在win7下的运行程序会报org.apache.hadoop.security.AccessControlException
解决方法参见
http://39382728.blog.163.com/blog/static/353600692011101051217731/
分享到:
相关推荐
总结来说,配置Eclipse连接Hadoop涉及安装和配置Hadoop,安装Eclipse插件,设置Hadoop连接,编写和调试MapReduce程序,以及提交和监控作业。这个过程需要对Hadoop和Eclipse有深入的理解,通过文档和错误日志来解决...
是windows下eclipse连接hadoop的操作文档,注意系统环境变量一定要配置
本压缩包提供的是针对Eclipse连接Hadoop的不同版本插件,适用于不同版本的Eclipse,因为每个Eclipse版本可能需要兼容的插件版本不同。 1. **Hadoop插件的作用**: Hadoop插件为Eclipse提供了与Hadoop集群交互的...
标题中的“eclipse连接hadoop相关工具”指的是在Eclipse集成开发环境中配置和使用Hadoop的相关组件,以便于开发和调试Hadoop MapReduce程序。这个主题涵盖了Eclipse插件、Hadoop的DLL文件以及Winutils工具,这些都是...
以下是对"eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例"这一主题的详细解释: 首先,让我们了解`hadoop.ddl`。DDL(Data Definition Language)通常指的是数据库中用于定义数据结构的语句,...
标题中的“eclipse连接hadoop需要的文件”指的是在Eclipse集成开发环境中配置Hadoop环境,以便进行Hadoop相关的开发工作。Eclipse是一款强大的Java IDE,而Hadoop是一个开源的分布式计算框架,常用于大数据处理。...
【Eclipse连接Hadoop开发】 在Windows环境下进行Hadoop开发,Eclipse是一个常用的集成开发环境。本文档将详细介绍如何配置Eclipse以便连接到Hadoop集群,使得开发过程更加便捷。 **1. Hadoop开发环境配置** 1.1 ...
8. **配置Eclipse**: 在Eclipse的`Window > Preferences > Hadoop Map/Reduce`中配置Hadoop的连接信息,如Hadoop的安装路径和集群地址。 9. **创建项目**: 创建一个Map/Reduce项目,编写Hadoop程序,如WordCount...
包含几个源编译中漏掉的包,servlet-api,commons-io,更新了htrace-core-3.1.0-incubating.jar
4. **测试连接**:当以上步骤都已完成并且集群运行正常时,应该能够通过Eclipse连接到Hadoop集群并加载其中的文件。 #### 六、释放Hadoop-Common库 1. **解压位置**:将`Hadoop-common.zip`解压至指定位置,例如`E...
本文将详细讲解如何使用Eclipse与Hadoop 2.2.0插件进行连接,以便于在Windows操作系统上进行Hadoop相关的开发工作。 首先,我们需要确保已经安装了Eclipse IDE。Eclipse是一个开放源码的Java集成开发环境,适用于...
成功在windows的eclipse连接hadoop 具体步骤如下: 1.使用对应版本的Hadoop jar包 2.错误:winutils.exe not found 解压hadoop-common-2.2.0-bin-master.zip和hadoop_dll2.6.0.7z 。因为是Hadoop2.6环境,所以后者...
标题“使用Eclipse连接Hadoop”意味着我们要探讨的是如何在流行的Java开发环境Eclipse中配置和使用Hadoop相关的工具,以便开发和调试MapReduce程序。Hadoop是一个分布式计算框架,而Eclipse则是一个广泛用于Java开发...
7. **配置Hadoop环境**:在Eclipse中,右键点击项目 -> "Properties" -> "Hadoop Configuration",在此处配置Hadoop的安装路径和相关参数,确保Eclipse能正确连接到Hadoop集群。 8. **开发与调试**:现在,你可以...
5. **测试连接**:配置完成后,你可以通过Eclipse的“资源管理器视图”(Hadoop Explorer)来连接到Hadoop集群,检查是否能列出集群中的节点和文件系统。 6. **编写和运行MapReduce程序**:现在,你已经可以在...
1. **连接 Hadoop 集群**:配置 Hadoop 集群的相关信息,如 NameNode 地址、Hadoop 版本等,使 Eclipse 可以连接到运行中的 Hadoop 集群。 2. **资源浏览**:在 Eclipse 的 Package Explorer 或者 Project Explorer...
5. **连接Hadoop集群**:在Eclipse中配置Hadoop连接,可以让你在本地IDE中调试运行在远程集群上的作业。通过"Big Data Tools",可以在"Window" -> "Preferences" -> "Big Data" -> "Hadoop Cluster"中添加和管理...
5. **运行和测试配置**:Eclipse的工作空间配置文件,可能包括Hadoop集群的连接信息和测试用例。 6. **文档**:可能包含README文件或其他文档,指导用户如何导入和使用该项目。 7. **设置文件**:如`settings.xml`...
windows下 eclipse操作hadoop集群 插件
同时,通过在开发IDE如Eclipse中配置Hadoop插件,可以更便捷地进行开发和调试Hadoop程序。本文将详细介绍如何搭建Hadoop伪集群环境,并在Eclipse中配置插件。 首先,搭建Hadoop伪集群环境主要分为以下几个步骤: 1...