`
jayghost
  • 浏览: 441661 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

用eclipse编译hadoop例子要做的修改

 
阅读更多

本人在ubuntu10.10环境下用eclipse编译hadoop的例子,如果想用形式如:

 

$ bin/hadoop jar ~/Desktop/MTD.jar com.wujay.MaxTemperature input/sample.txt output

 的方式运行xx.jar,需要:

eclipse中工程右键Export-select Java->JAR file


直接默认选项,Finish。

 

但是对于引用了其他jar包的工程,用eclipse自带的打包工具就不行了,推荐使用fatjar工具,一个eclipse插件。

http://fjep.sourceforge.net/

我用的eclipse indigo,把插件jar放到eclipse的dropins中,不要放到plugins中,命令启动eclipse -clean就行,注意fatjar要在“Package-Explorer”中对工程右键才能看到哦。

  • 大小: 72.1 KB
分享到:
评论

相关推荐

    在Windows上使用eclipse编写Hadoop应用程序.docx

    - 为了使Eclipse能够识别和编译Hadoop相关的类,需要添加Hadoop的库文件。右键点击项目“DFSOperator”,选择“Build Path” -> “Configure Build Path”。 - 在“Java Build Path”的“Libraries”标签页中,...

    hadoop1.x的eclipse插件

    描述中提到的“编译好的hadoop1.x的插件,直接放到eclipse的plugins目录下重启就可以使用了”,指的是将下载或编译得到的Hadoop Eclipse插件(在这个例子中是`hadoop-eclipse-plugin-1.2.2-SNAPSHOT.jar`)复制到...

    hadoop 2.6.0 eclipse 需求包 依赖 jar

    在Hadoop 2.x版本中,为了提高模块化和可扩展性,原本集中在`hadoop-core.jar`中的功能被拆分到了多个独立的JAR...这些依赖JAR是构建在Eclipse中的Hadoop应用程序的基础,确保了代码的编译、运行和测试能够顺利进行。

    hadoop补丁

    使用Eclipse开发Hadoop应用时,通常会借助插件如Hadoop Eclipse Plugin,它允许用户直接在Eclipse中创建、编辑、编译和部署MapReduce作业。然而,由于操作系统和Hadoop版本间的差异,未经修正的插件可能无法正确地与...

    Hadoop学习全程记录-在Eclipse中运行第一个MapReduce程序.docx

    在这个例子中,操作系统是通过Wubi在Windows上安装的Ubuntu 10.10,Hadoop版本为hadoop-0.20.2,Eclipse版本为eclipse-jee-helios-SR1-linux-gtk。为了简化学习过程,我们将在“伪分布式模式”下运行Hadoop,这意味...

    hadoop 框架下 mapreduce源码例子 wordcount

    在这个例子中,我们将深入理解Hadoop MapReduce的工作原理以及如何在Eclipse环境下实现WordCount源码。 1. **Hadoop MapReduce概述**: Hadoop MapReduce是由两个主要部分组成的:Map阶段和Reduce阶段。Map阶段将...

    hadoop大数据培训零基础学习hadoop-北京尚学堂整理.pdf

    在Hadoop的开发环境中,你需要掌握如何配置开发工具,如Eclipse,并学会使用Hadoop-Eclipse-Plugin插件进行远程集群连接。此外,理解如何编译和运行Hadoop程序也是必不可少的步骤。对于Windows用户,要注意与JDK版本...

    零基础学习hadoop(编程篇).pdf

    3. **Hadoop编译与插件**:学习编译Hadoop源码是进阶步骤,能帮助理解Hadoop内部工作原理。此外,使用`hadoop-eclipse-plugin`插件可以远程连接到Hadoop集群,这是编写和测试MapReduce程序的必要步骤。 4. **运行...

    零基础学习hadoop(编程篇) (3).pdf

    - **Hadoop源码编译**:了解如何从源码编译Hadoop,这对于深入理解Hadoop的工作原理和进行定制化开发非常重要。 - **Hadoop-Eclipse-Plugin**:这个插件允许开发者在Eclipse中远程连接到Hadoop集群,调试和运行...

    mapreduce_eclipse开发需要的所有包

    5. **MapReduce示例**:初学者通常会从Hadoop官方提供的MapReduce示例开始学习,例如WordCount程序,这是一个简单的例子,演示了如何使用MapReduce处理文本数据,统计单词出现次数。 6. **JUnit测试**:对于...

    cloud_book-example

    1. `.classpath`:这是一个Eclipse项目配置文件,其中包含了项目的类路径信息,用于指导Eclipse如何编译和运行Hadoop MapReduce项目。这表明本示例可能是在Eclipse开发环境中创建的。 2. `.project`:这是另一个...

    MapReduce版的HelloWorld

    在Eclipse中编译并运行程序后,Hadoop会处理输入文件(如一个包含文本的文件),并输出结果到指定目录。运行完成后,你可以查看输出文件,看到每个单词及其出现的次数。 总的来说,"MapReduce版的HelloWorld"是一个...

    大数据课程体系

    - **Eclipse开发环境**:介绍如何使用Eclipse集成开发环境进行Java项目的创建、编辑、编译和调试。 - **多线程技术**:探讨Java中的线程生命周期、线程同步、线程池等高级特性。 - **Socket网络技术**:讲解如何利用...

    thesis:硕士论文glasswing

    Glasswing YARN应用程序该项目包含一个带有以下内容的Eclipse项目: 源代码可以在das-4上远程显示用于部署,执行和日志的Ant脚本该代码与依赖项commons-cli-1.3.1.jar commons-logging-1.2.jar一起编译到target / ...

    大数据课程体系.docx

    - **Eclipse开发环境**:介绍Eclipse集成开发环境的安装与配置方法,包括如何在Eclipse中创建Java项目、编写代码、编译及运行程序。 - **多线程技术**:深入理解Java中的线程概念、线程生命周期以及线程间通信机制,...

    Jav范例

    在实际项目中,我们经常使用IDE(集成开发环境)来编写Java代码,例如Eclipse、IntelliJ IDEA或NetBeans。这些工具提供了代码提示、自动格式化、调试和构建功能,极大地提高了开发效率。 对于“4424534456541312”...

    adroid adb

    在上述例子中,开发者使用了`netstat -aon|findstr "5037"`命令来检查占用5037端口的进程。结果显示有一个名为`sjk_daemon.exe`的进程正在监听该端口。为了释放这个端口,开发者使用了`taskkill /f /im sjk_daemon....

Global site tag (gtag.js) - Google Analytics