`
liuxinglanyue
  • 浏览: 572742 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Hadoop学习笔记之五:使用Eclipse插件

阅读更多

转载务必注明出处Taobao QA Team,原文地址:http://qa.taobao.com/?p=10659

引言
在开发调试过程中,需要将程序打包,运行任务后通过命令或web界面查看运行输出及job运行情况,这个比较繁琐,下面介绍的eclipse插件可以简化这个过程,方便调试。
插件安装
Hadoop的eclipse plugin跟hadoop发行版一起分发,到hadoop安装目录\ contrib\eclipse-plugin下可以找到该插件。在试用过程中发现不支持eclipse 3.5,因此要在eclipse3.5及以上版本运行,需要做个修改。修改方法如下:
编辑:src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\
HadoopApplicationLaunchShortcut.java
做如下修改:
//import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;
import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;

修改完毕后在hadoop目录执行ant package重新打包eclipse插件。

将修改后的插件拷贝到eclipse\dropins\hadoop\plugins目录下完成安装。

插件配置与使用

  • 指定Hadoop安装目录
  • 打开Map/Reduce视图
  • ”Window”->”Open Perspective”->”Other”->“Map/Reduce”.
    “Window”->”Show views”->”Other”->”Map Reduce Tools”->”Map/Reduce locations”.

  • 新建 Hadoop location
  • DFS视图浏览文件
  • 运行MapReduce作业
  • 查看运行结果
  • 系列总结
    Hadoop作为一种处理海量数据的理想方式,正在被越来越多的项目使用,以后也有可能用于我们的测试工具,本系列期望抛砖引玉,能引起更多的测试人员对新技术的兴趣。这也是本系列目前最后一篇文章了,如果对本系列前面的文章或本人其他文章感兴趣,可以通过以下链接访问查看,http://qa.taobao.com/?author=222

    分享到:
    评论
    3 楼 tyoushinya 2010-12-30  
    liuxinglanyue 写道
    tyoushinya 写道
    兄弟
    图片怎么看不到啊??
    初次接触Hadoop感觉对于程序员来说
    我也看了其他人写的文章都很泛泛
    不适合于马上快速进入开发的人员
    所以对于我这样的临时抱佛脚的
    你写的文章太有用了。

    我可以看到图片的,如果实在不行,就进这里看吧(http://qa.taobao.com/?author=222)
    这个系列的文章,我也是收藏过来的。

    好的谢谢了啊!
    2 楼 liuxinglanyue 2010-12-30  
    tyoushinya 写道
    兄弟
    图片怎么看不到啊??
    初次接触Hadoop感觉对于程序员来说
    我也看了其他人写的文章都很泛泛
    不适合于马上快速进入开发的人员
    所以对于我这样的临时抱佛脚的
    你写的文章太有用了。

    我可以看到图片的,如果实在不行,就进这里看吧(http://qa.taobao.com/?author=222)
    这个系列的文章,我也是收藏过来的。
    1 楼 tyoushinya 2010-12-30  
    兄弟
    图片怎么看不到啊??
    初次接触Hadoop感觉对于程序员来说
    我也看了其他人写的文章都很泛泛
    不适合于马上快速进入开发的人员
    所以对于我这样的临时抱佛脚的
    你写的文章太有用了。

    相关推荐

      hadoop学习笔记.rar

      二、Hadoop学习笔记之五:使用Eclipse插件 Eclipse插件是开发Hadoop应用的重要工具,它提供了集成的开发环境,使得开发者可以更方便地编写、调试和运行Hadoop程序。通过插件,用户可以创建Hadoop项目,编写MapReduce...

      Hadoop与HBase自学笔记

      Hadoop与HBase学习笔记 本文档记录了Hadoop和HBase的学习过程,包括Hadoop的安装、HBase的安装和在Eclipse下开发HBase的实践过程。这些记录旨在为初学者提供指导和帮助。 1. Hadoop安装 Hadoop的安装需要先安装...

      scala的操作笔记

      ### Scala的操作笔记 #### 一、课程目标与学习路径 本课程旨在通过三个阶段的目标来逐步深入学习Scala语言,最终能够灵活运用Scala进行Spark程序的开发,并具备阅读Spark内核源码的能力。 - **初级目标**:掌握...

      从0开始用Java做智慧物联网.zip

      5. 软件开发工具:Eclipse、IntelliJ IDEA等Java集成开发环境(IDE)提供了强大的物联网开发支持,包括硬件模拟器、物联网插件等,使得开发者可以在没有实际设备的情况下进行代码编写和测试。 "从0开始用Java做智慧...

      个人笔记

      2. **Eclipse**:Eclipse是另一款广泛应用的Java IDE,它具有开放源码、插件丰富的特点,也是很多开发者的选择。 3. **Maven**:Maven是Java项目管理和构建工具,通过POM(Project Object Model)文件管理项目的...

      laptop

      1. Eclipse:一个开源的IDE,支持多种语言,具有丰富的插件和强大的调试功能。 2. IntelliJ IDEA:JetBrains公司的旗舰产品,以其智能代码补全和高效的开发体验而闻名。 3. NetBeans:另一个开源IDE,特别适合初学者...

    Global site tag (gtag.js) - Google Analytics