`
dajuezhao
  • 浏览: 60941 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Eclipse下配置使用Hadoop插件

阅读更多

一、环境配置

1、Eclipse 版本 3.3.X

2、Hadoop版本 0.20.2

二、配置流程

1、将\hadoop-0.20.2\hadoop-0.20.2\contrib\eclipse-plugin\下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse-SDK-3.3.2-win32\eclipse\plugins\下。

2、启动eclipse,点击Window->Show View->Other,点击MapReudce Tools->Map/Reduce Locations,如图(我已创建一个):

 3、点击蓝色的大象,出现下图,配置:

Host是Master的IP地址、9001是mapred.job.tracker端口、9000是fs.default.name的端口

4、到这里配置完成了。值得说明的是,JDK需要采用1.6,否则会报如下错误信息。

Unsupported major.minor version 50.0


Unsupported major.minor version 49.0
Unsupported major.minor version 48.0

二、如何使用

1、查看文件系统。点击eclipse右上角的蓝色大象图标,然后在左边Project Explorer会出现DFS Locations的链接,打开就能看到HDFS的文档结构。

2、运行Job,运行的时候采用Run on hadoop。这里需要注意3点,
A、记得配置输入输出参数。

B、记得在main函数中添加conf.set("hadoop.job.ugi", "root,hadoop"); root是用户名,hadoop是密码。

C、工程需要加载hadoop下lib里的所有包以及hadoop目录下的包,当然不是全部都需要,我觉得麻烦,所以全部加上了。

四、总结

1、插件用起来还是比较方便的,建议开发调试的时候使用。

2、通过插件对HDFS进行文件目录的增删操作就我这个配置还不行,网上有文档说可以配置,但是我没实现。

3、运行Job的时候确实需要注意输入和输出以及一些jar包的加载。

4、执行的时候会出一些警告,不影响,说是系统中存在一些老的配置文件而已。

5、写的不对或是有疑问的地方可以发邮件沟通。dajuezhao@gmail.com

0
0
分享到:
评论
1 楼 bennie19870116 2010-11-30  
看不到图呢...

相关推荐

    eclipse安装Hadoop插件

    通过上述步骤,我们不仅成功地在Eclipse中安装了Hadoop插件,还进一步配置了Hadoop环境,包括设置Hadoop集群的位置、释放Hadoop-common库以及关闭HDFS的权限检查等功能。这些操作有助于提高Hadoop程序开发的效率和...

    eclipse hadoop2 插件

    6. **版本兼容性**:插件版本"2.6.0"表明它支持Hadoop 2.x版本,需要注意的是,不同版本的Hadoop插件可能与不同版本的Eclipse和Hadoop集群存在兼容性问题,因此在实际使用时需要确保所有组件版本匹配。 7. **最佳...

    Eclipse Hadoop2.7插件

    安装Eclipse Hadoop插件后,开发者可以享受到以下功能: 1. **项目创建**:插件提供了创建Hadoop项目的向导,指导用户设置必要的配置,如Hadoop版本、集群地址等。 2. **编辑器支持**:支持Hadoop相关的配置文件...

    在eclipse中配置hadoop插件

    标题中的“在eclipse中配置hadoop插件”是指在集成开发环境Eclipse中安装和配置Hadoop插件,以便于开发和调试Hadoop MapReduce项目。这个过程涉及到多个步骤和知识点,包括Eclipse的扩展性、Hadoop的开发工具支持...

    eclipse中配置hadoop插件

    eclipse中配置hadoop插件 在Eclipse中配置Hadoop插件是使用Hadoop进行大数据处理和分析的重要步骤。...使用Eclipse配置Hadoop插件可以实现大数据处理和分析的自动化操作,提高工作效率和开发速度。

    win7下eclipse配置hadoop的插件

    标题中提到的关键是"win7下eclipse配置hadoop的插件",这意味着我们要在Windows 7操作系统上,利用Eclipse进行Hadoop开发的环境配置。这通常包括以下几个步骤: 1. **下载Hadoop插件**:这里提到的`hadoop-eclipse-...

    hadoop-eclipse插件各版本合集

    - **项目创建**:通过插件,开发者可以在Eclipse中直接创建Hadoop项目,并设置相关的Hadoop配置。 - **编辑器支持**:提供专门的MapReduce程序编辑器,包括代码提示、自动完成、错误检查等功能。 - **运行/调试**...

    eclipse 操作Hadoop插件

    标题 "Eclipse 操作 Hadoop 插件" 涉及到的是在集成开发环境 Eclipse 中使用特定插件来管理并操作 Hadoop 分布式文件系统(HDFS)的技能。这一插件允许开发者直接在 Eclipse 中进行 Hadoop 文件系统的交互,而无需...

    eclipse配置hadoop

    配置 Hadoop 插件是使用 Eclipse 进行 MapReduce 开发的第一步。首先,需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar 插件,插件可以在 Hadoop 0.20.2/contrib/eclipse-plugin 目录下找到。将插件...

    eclipse的hadoop插件

    Eclipse的Hadoop插件是开发Hadoop MapReduce应用程序的重要工具,它允许开发者在熟悉的Eclipse集成开发环境中(IDE)编写、调试和管理Hadoop项目。这个插件专为Hadoop 0.20.2版本设计,并且要求Eclipse版本为3.5。在...

    eclipse连接hadoop插件2.6.0/5 2.7.3

    Hadoop插件为Eclipse提供了与Hadoop集群交互的功能,包括创建Hadoop项目、编写MapReduce程序、配置运行环境、调试和部署等。它简化了开发过程,使得开发者能够在本地环境中模拟Hadoop集群的行为,提高开发效率。 2...

    eclipse运行mr插件hadoop-eclipse-plugin-2.6.0.jar

    本文将深入探讨如何使用Eclipse IDE结合hadoop-eclipse-plugin-2.6.0.jar插件,实现在Windows环境下进行远程连接到Hadoop集群,尤其适用于64位操作系统。 首先,我们要理解Hadoop的核心概念。Hadoop是由Apache基金...

    eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例

    3. 配置插件:在Eclipse中设置Hadoop集群的相关信息,包括Hadoop的安装路径、 Namenode地址、端口等。 4. 使用插件:现在你可以通过Eclipse的“File” > “New” > “Job”等选项创建和管理Hadoop MapReduce作业了。...

    hadoop各版本的eclipse插件

    要在Eclipse中安装Hadoop插件,通常需要从Hadoop官方网站或者第三方源下载对应的版本。然后通过Eclipse的“帮助”->“安装新软件”功能,指向下载的插件更新站点进行安装。对于0.20和1.0版本的Hadoop,可能需要找到...

    hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0

    在创建新项目时,可以指定Hadoop的配置文件路径,插件会自动识别并连接到集群。 总的来说,Hadoop-Eclipse-Plugin是Hadoop开发不可或缺的一部分,无论是1.2.1版本还是2.8.0版本,它们都为开发者提供了便利的工具,...

    hadoop-eclipse-plugin插件和hadoop.dll和winutile.exe.zip

    `winutils.exe`是Hadoop在Windows平台上的一个工具集,它提供了类似于Linux环境下的`hadoop`命令行工具的功能,例如管理HDFS、设置Hadoop环境变量等。在Windows上配置Hadoop时,`winutils.exe`是不可或缺的部分,...

    eclipse hadoop插件

    本篇文章将详细介绍如何在Windows 64位环境下安装和使用Eclipse Hadoop插件,以及插件的主要功能。 首先,确保你的计算机满足以下环境要求: 1. 操作系统:Windows 64位 2. 硬件配置:双核4线程处理器,主频2.2GHz...

    windows下连接hadoop2.2.0的eclipse+hadoop插件

    本文将详细讲解如何使用Eclipse与Hadoop 2.2.0插件进行连接,以便于在Windows操作系统上进行Hadoop相关的开发工作。 首先,我们需要确保已经安装了Eclipse IDE。Eclipse是一个开放源码的Java集成开发环境,适用于...

    winutils+hadoop.dll+eclipse插件(hadoop2.7)

    5. 配置Eclipse插件,设置Hadoop集群的相关信息,如HDFS URI、YARN地址等。 6. 使用Eclipse创建新的Hadoop项目,编写MapReduce代码,并通过插件直接提交到Hadoop集群运行。 总的来说,`winutils.exe`和`hadoop.dll`...

Global site tag (gtag.js) - Google Analytics