`
younglibin
  • 浏览: 1211764 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

eclipse 导入 hadoop项目

 
阅读更多

eclipse 导入hadoop 有三种方式,

1.直接找到  hadoop svn 资源库 在资源库中下

2.下载 hadoop 原码文件解压开之后  使用 maven 导入 (因为 hadoop 项目本省是使用maven 管理的)

3. 下载 hadoop  maven原码,将maven功能转换成 eclipse 项目 ,再在eclipse 导入

 

下边分别介绍这三种方式:

 

 一、hadoop svn 资源库 

 Hadoop 源代码共包括 common、hdfs(分布式文件系统)、mapred(MapReduce) 三部分,各自的 SVN 地址如下:

 

http://svn.apache.org/repos/asf/hadoop/common

 

http://svn.apache.org/repos/asf/hadoop/hdfs

 

http://svn.apache.org/repos/asf/hadoop/mapreduce

 

【注意】三个项目有依赖关系,common 是后两者的公共组件,mapred 则是基于 hdfs,但这些依赖关系已经处理好,无需开发者关心,三个项目可分别独立下载、编译 。

 

需要你的  eclipse  安装了 svn插件,  在 创建资源库位置,  下载自己需要的版本:

如下图:

 

 

选择自己需要的branches  下载:

 

 

下载 这是一个漫长的过程啊 .......

 

2. 构建 maven项目

       这里需要 eclipse  安装maven ,  

       选择菜单项File,然后选择Import,我们会看到一个Import对话框。在该对话框中选择General目录下的Maven Projects,然后单击Next按钮,就会出现Import Projects对话框。

选择 你到要入的  项目 目录:



 

 

点击next  继续 完成;

 

3. 将maven项目 构建成  eclipse 项目导入

      下载  hadoop原码: 去官网下载,我下载的是:hadoop-0.23.9-src.tar.gz

        将原码解压  tar -zxvf hadoop-0.23.9-src.tar.gz

        进入到  hadoop目录中: cd hadoop-0.23.9-src

        将 maven装换成 eclipse 项目:(这里需要安装 maven  ,安装maven步骤:http://younglibin.iteye.com/admin/blogs/1923252

         安装完成后执行  mvn eclipse:eclipse   

        

       执行这一步 ,回到 服务器上下载 eclipse 的一些东西 ,保证你的网络畅通,我这都快卡死了 ,

看到这些 说明正在 构造 eclipse 项目



 

 

看到 success  说明 已经构造成功了 



 

 

构造完成后 ,在eclipse   导入已经存在 eclipse



 

 

选择 刚刚执行 maven  命令的目录:



 

 

 

 

最后会在 eclipse 中看到:



 

 

 

    可以看到 经典的  wordcount 了 

 

 

 



 

 

 

 

                           

  • 大小: 23.2 KB
  • 大小: 17.1 KB
  • 大小: 147.4 KB
  • 大小: 133.2 KB
  • 大小: 51.8 KB
  • 大小: 133.8 KB
  • 大小: 16.9 KB
  • 大小: 36.7 KB
  • 大小: 124 KB
分享到:
评论

相关推荐

    Eclipse开发Hadoop相关项目本地配置插件

    7. **文件名称列表"eclipse开发hadoop项目相关插件"**:这个文件可能包含了Eclipse中用于开发Hadoop项目的插件安装包或者相关配置文件,用户需要将其解压并按照上述步骤进行安装或导入到Eclipse中。 总之,通过上述...

    eclipse配置hadoop

    Eclipse 配置 Hadoop 及 MapReduce 开发指南 一、Eclipse 中配置 Hadoop 插件 配置 Hadoop 插件是使用 Eclipse 进行 MapReduce 开发的第一步。首先,需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar ...

    配置Eclipse连接Hadoop

    - 使用Eclipse创建Java项目,导入Hadoop的相关库,如`hadoop-core.jar`和`hadoop-client.jar`。 - 编写MapReduce程序,实现Mapper和Reducer类,以及Job配置。 - 调试代码,利用Eclipse的调试工具查看执行流程,...

    eclipse连接hadoop插件2.6.0/5 2.7.3

    为了在Eclipse中方便地开发、测试和调试Hadoop项目,开发者通常需要安装特定的Hadoop插件。本压缩包提供的是针对Eclipse连接Hadoop的不同版本插件,适用于不同版本的Eclipse,因为每个Eclipse版本可能需要兼容的插件...

    eclipse-hadoop3x-master.zip

    用户可以导入此项目到Eclipse中,然后利用其中的配置和源代码开始编写、测试和部署Hadoop应用程序。它涵盖了大数据处理的基本框架,结合了Eclipse的强大开发工具,旨在提升开发效率并简化分布式计算的复杂性。对于想...

    eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例

    总的来说,要使Eclipse连接并运行Hadoop项目,我们需要安装Hadoop Eclipse Plugin,并理解`hadoop.ddl`文件中关于数据结构的信息。同时,通过实践提供的`hadoop运行案例`,可以加深对Hadoop开发的理解,从而高效地...

    Eclipse Hadoop2.7插件

    Eclipse Hadoop2.7插件是专门为Java开发者设计的一款工具,它允许用户在流行的集成开发环境(IDE)Eclipse中直接进行Hadoop项目的开发、调试和管理。这个插件极大地简化了Hadoop应用程序的创建过程,使得开发人员...

    hadoop-eclipse-2.75插件 centos6.5 +eclipse编译

    本文将详细讲解如何在CentOS 6.5操作系统上配置Hadoop-eclipse插件,以便在Eclipse环境中进行Hadoop项目的开发和调试。 首先,我们需要在Eclipse中安装Hadoop-eclipse插件。这个插件使得开发者可以直接在Eclipse中...

    eclipse集成hadoop+spark+hive开发源码实例

    4. **配置Eclipse for Hadoop**:在Eclipse中安装Hadoop插件,如Hadoop Plugin for Eclipse,这将提供Hadoop项目的支持。 5. **安装Spark**:下载Spark源代码或者二进制包,配置SPARK_HOME环境变量。如果需要在...

    Hadoop2.7.1源码(可直接导入Eclipse)

    Hadoop2.7.1源码(可直接导入Eclipse)

    eclipse 运行hadoop工具包

    标题 "eclipse 运行hadoop工具包" 涉及到的是在Eclipse集成开发环境中运行Hadoop项目的方法。Eclipse是一款广泛使用的Java IDE,而Hadoop是Apache开源项目,主要用于大数据处理和分析。通过特定的插件,Eclipse能够...

    Hadoop源码编译好的源码(eclipse可直接导入)

    对于Eclipse用户,导入这个编译好的源码项目,可以便于进行代码阅读和调试,这对于理解Hadoop的工作原理、定制化开发或者排查问题非常有帮助。你可以通过Eclipse的"import->Existing Maven Projects"功能导入hadop-...

    Cygwin+Eclipse搭建Hadoop单机开发环境-1

    首先,你需要在Eclipse中安装Hadoop相关的插件,如Hadoop插件(如Hadoop-Eclipse-Plugin),它允许你在Eclipse内直接创建和管理Hadoop项目。这可以通过Eclipse的“帮助”菜单下的“安装新软件”选项来完成。安装插件...

    Hadoop开发环境的插件hadoop-eclipse-plugin-2.10.1

    Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...

    eclipse开发hadoop2.5.2所用到都jar

    为了在Eclipse中顺利地构建、运行和调试Hadoop项目,我们需要安装一系列的JAR库。这些JAR文件包含了Hadoop的核心组件以及依赖的第三方库,确保开发者能够访问Hadoop的API并进行分布式计算。 标题 "eclipse开发...

    eclipse连接hadoop需要的文件

    5. **安装和配置**: 安装Hadoop插件通常涉及到下载插件文件,然后通过Eclipse的“Install New Software”功能导入并安装。配置包括设置Hadoop的路径,确保Eclipse能正确连接到Hadoop集群。 6. **开发流程**: 使用...

    Cygwin+Eclipse搭建Hadoop单机开发环境-3

    - 创建新的Java项目,导入Hadoop的源代码或库。 - 编写MapReduce程序,利用Eclipse的强大调试功能测试和优化代码。 7. **运行Hadoop程序**: - 使用Eclipse的构建功能将MapReduce程序打包成JAR文件。 - 使用...

    eclipse调试hadoop2.x必备

    3. **设置源代码关联**:为了能够在Eclipse中查看和调试Hadoop源代码,需要将Hadoop源码导入到Eclipse项目中,并在"Source Lookup"选项卡下关联源码路径。 4. **启动调试**:最后,启动调试会话,当Hadoop守护进程在...

    eclipse hadoop插件

    3. **构建与部署**:Eclipse插件能够直接将你的Hadoop项目打包为JAR文件,并通过Hadoop集群进行编译和运行,无需离开IDE。 4. **调试支持**:具备强大的调试工具,可以设置断点,查看变量值,单步执行等,极大地...

Global site tag (gtag.js) - Google Analytics