转载务必注明出处Taobao QA Team,原文地址:http://qa.taobao.com/?p=10659
引言
在开发调试过程中,需要将程序打包,运行任务后通过命令或web界面查看运行输出及job运行情况,这个比较繁琐,下面介绍的eclipse插件可以简化这个过程,方便调试。
插件安装
Hadoop的eclipse plugin跟hadoop发行版一起分发,到hadoop安装目录\ contrib\eclipse-plugin下可以找到该插件。在试用过程中发现不支持eclipse 3.5,因此要在eclipse3.5及以上版本运行,需要做个修改。修改方法如下:
编辑:src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\
HadoopApplicationLaunchShortcut.java
做如下修改:
//import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;
import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;
修改完毕后在hadoop目录执行ant package重新打包eclipse插件。
将修改后的插件拷贝到eclipse\dropins\hadoop\plugins目录下完成安装。
插件配置与使用
指定Hadoop安装目录

打开Map/Reduce视图
”Window”->”Open Perspective”->”Other”->“Map/Reduce”.
“Window”->”Show views”->”Other”->”Map Reduce Tools”->”Map/Reduce locations”.

新建 Hadoop location

DFS视图浏览文件

运行MapReduce作业

查看运行结果

系列总结
Hadoop作为一种处理海量数据的理想方式,正在被越来越多的项目使用,以后也有可能用于我们的测试工具,本系列期望抛砖引玉,能引起更多的测试人员对新技术的兴趣。这也是本系列目前最后一篇文章了,如果对本系列前面的文章或本人其他文章感兴趣,可以通过以下链接访问查看,http://qa.taobao.com/?author=222
分享到:
相关推荐
二、Hadoop学习笔记之五:使用Eclipse插件 Eclipse插件是开发Hadoop应用的重要工具,它提供了集成的开发环境,使得开发者可以更方便地编写、调试和运行Hadoop程序。通过插件,用户可以创建Hadoop项目,编写MapReduce...
Hadoop与HBase学习笔记 本文档记录了Hadoop和HBase的学习过程,包括Hadoop的安装、HBase的安装和在Eclipse下开发HBase的实践过程。这些记录旨在为初学者提供指导和帮助。 1. Hadoop安装 Hadoop的安装需要先安装...
### Scala的操作笔记 #### 一、课程目标与学习路径 本课程旨在通过三个阶段的目标来逐步深入学习Scala语言,最终能够灵活运用Scala进行Spark程序的开发,并具备阅读Spark内核源码的能力。 - **初级目标**:掌握...
5. 软件开发工具:Eclipse、IntelliJ IDEA等Java集成开发环境(IDE)提供了强大的物联网开发支持,包括硬件模拟器、物联网插件等,使得开发者可以在没有实际设备的情况下进行代码编写和测试。 "从0开始用Java做智慧...
2. **Eclipse**:Eclipse是另一款广泛应用的Java IDE,它具有开放源码、插件丰富的特点,也是很多开发者的选择。 3. **Maven**:Maven是Java项目管理和构建工具,通过POM(Project Object Model)文件管理项目的...
1. Eclipse:一个开源的IDE,支持多种语言,具有丰富的插件和强大的调试功能。 2. IntelliJ IDEA:JetBrains公司的旗舰产品,以其智能代码补全和高效的开发体验而闻名。 3. NetBeans:另一个开源IDE,特别适合初学者...