转载务必注明出处Taobao QA Team,原文地址:http://qa.taobao.com/?p=10659
引言
在开发调试过程中,需要将程序打包,运行任务后通过命令或web界面查看运行输出及job运行情况,这个比较繁琐,下面介绍的eclipse插件可以简化这个过程,方便调试。
插件安装
Hadoop的eclipse plugin跟hadoop发行版一起分发,到hadoop安装目录\ contrib\eclipse-plugin下可以找到该插件。在试用过程中发现不支持eclipse 3.5,因此要在eclipse3.5及以上版本运行,需要做个修改。修改方法如下:
编辑:src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\
HadoopApplicationLaunchShortcut.java
做如下修改:
//import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;
import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;
修改完毕后在hadoop目录执行ant package重新打包eclipse插件。
将修改后的插件拷贝到eclipse\dropins\hadoop\plugins目录下完成安装。
插件配置与使用
指定Hadoop安装目录
打开Map/Reduce视图
”Window”->”Open Perspective”->”Other”->“Map/Reduce”.
“Window”->”Show views”->”Other”->”Map Reduce Tools”->”Map/Reduce locations”.
新建 Hadoop location
DFS视图浏览文件
运行MapReduce作业
查看运行结果
系列总结
Hadoop作为一种处理海量数据的理想方式,正在被越来越多的项目使用,以后也有可能用于我们的测试工具,本系列期望抛砖引玉,能引起更多的测试人员对新技术的兴趣。这也是本系列目前最后一篇文章了,如果对本系列前面的文章或本人其他文章感兴趣,可以通过以下链接访问查看,http://qa.taobao.com/?author=222
分享到:
相关推荐
二、Hadoop学习笔记之五:使用Eclipse插件 Eclipse插件是开发Hadoop应用的重要工具,它提供了集成的开发环境,使得开发者可以更方便地编写、调试和运行Hadoop程序。通过插件,用户可以创建Hadoop项目,编写MapReduce...
8. **学习资源**:网上有许多教程和社区资源可以帮助学习如何使用Eclipse Hadoop2 插件,包括官方文档、博客文章和视频教程,这些都是进一步掌握这个工具的好途径。 通过以上介绍,我们可以看出Eclipse Hadoop2 ...
### Eclipse安装Hadoop插件详解 #### 一、前言 随着大数据技术的快速发展,Hadoop作为处理海量数据的重要工具之一,其应用越来越广泛。为了更好地利用Eclipse进行Hadoop程序开发,安装Hadoop Eclipse插件是十分...
8. **测试与运行**:使用插件,可以直接在Eclipse中提交MapReduce作业到Hadoop集群进行测试和运行。在项目上右键点击,选择"Hadoop" -> "Run on Cluster"。 9. **调试与优化**:Hadoop Eclipse plugin还提供了调试...
### Hadoop运行痕迹追踪详解 #### 一、引言 Hadoop作为一种强大的分布式计算框架,在大数据处理领域扮演着举足轻重的角色。然而,随着其功能的不断...希望本文的内容能够对您在Hadoop的学习和使用过程中有所帮助。
2. **Eclipse IDE**:Eclipse是一款广泛使用的Java集成开发环境,支持多种语言和插件,为开发者提供了丰富的工具和功能,便于代码编写、调试和测试。 3. **Hadoop-Eclipse插件功能**: - **项目创建**:通过插件,...
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
Eclipse是流行的Java集成开发环境(IDE),而Hadoop-Eclipse插件是将Hadoop与Eclipse结合的工具,允许开发者在Eclipse中直接创建、运行和调试Hadoop MapReduce程序。这些文件"hadop-eclipse-plugin-2.5.2.jar"、...
当开发者需要在Eclipse中编写和调试Hadoop应用程序时,就需要使用特定的Hadoop Eclipse插件。本资料包含的是针对Hadoop不同版本的Eclipse插件,包括0.20和1.0版本。 1. Hadoop Eclipse插件的作用: Hadoop Eclipse...
本压缩包提供的“hadoop-eclipse-plugin-2.7.4.jar”是专为Hadoop2.7.4版本设计的Eclipse插件,适用于使用JDK1.7.0_79和Eclipse Mars 2的开发环境。Eclipse Mars 2是Eclipse IDE的一个版本,支持多种语言开发,并且...
4. 使用Eclipse的“Run As”功能运行MapReduce作业,插件会自动将其提交到Hadoop集群。 通过这个插件,开发者可以更高效地进行Hadoop应用的开发和测试,提高开发效率。 总的来说,这个压缩包为Hadoop的开发和学习...
自己编译的hadoop-eclipse-plugin-2.2.0.jar插件:hadoop版本hadoop-2.2.0、eclipse版本:Eclipse Standard 4.3.1
Hadoop-eclipse插件是专为Java开发人员设计的一个实用工具,它允许用户在Eclipse集成开发环境中直接创建、编辑和运行Hadoop MapReduce项目。这个插件简化了Hadoop开发流程,使得开发者无需离开Eclipse就可以进行...
Eclipse是一款广泛使用的Java集成开发环境(IDE),而Hadoop是一个开源的大数据处理框架,主要用于分布式存储和计算。为了在Eclipse中方便地开发、测试和调试Hadoop项目,开发者通常需要安装特定的Hadoop插件。本...
1. 下载与安装Hadoop插件:Eclipse的Hadoop插件,如`hadoop-eclipse-plugin-2.6.0.jar`,需要下载并安装到Eclipse的plugins目录下。 2. 配置Hadoop的安装路径:在Eclipse的Preferences中设置Hadoop的安装路径。 3....
标题 "Eclipse 操作 Hadoop 插件" 涉及到的是在集成开发环境 Eclipse 中使用特定插件来管理并操作 Hadoop 分布式文件系统(HDFS)的技能。这一插件允许开发者直接在 Eclipse 中进行 Hadoop 文件系统的交互,而无需...
Hadoop学习笔记,自己总结的一些Hadoop学习笔记,比较简单。
1. **Hadoop-Eclipse插件安装与配置**:要使用Hadoop-Eclipse插件,首先需要在Eclipse中安装该插件。这可以通过Eclipse的“Help”菜单 -> "Install New Software" -> "Add" 来完成,然后提供下载的插件JAR文件路径...
**Hadoop学习笔记详解** Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储海量数据。它的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,两者构成了大数据处理的基础...