eclipse 导入hadoop 有三种方式,
1.直接找到 hadoop svn 资源库 在资源库中下
2.下载 hadoop 原码文件解压开之后 使用 maven 导入 (因为 hadoop 项目本省是使用maven 管理的)
3. 下载 hadoop maven原码,将maven功能转换成 eclipse 项目 ,再在eclipse 导入
下边分别介绍这三种方式:
一、hadoop svn 资源库
Hadoop 源代码共包括 common、hdfs(分布式文件系统)、mapred(MapReduce) 三部分,各自的 SVN 地址如下:
http://svn.apache.org/repos/asf/hadoop/common
http://svn.apache.org/repos/asf/hadoop/hdfs
http://svn.apache.org/repos/asf/hadoop/mapreduce
【注意】三个项目有依赖关系,common 是后两者的公共组件,mapred 则是基于 hdfs,但这些依赖关系已经处理好,无需开发者关心,三个项目可分别独立下载、编译 。
需要你的 eclipse 安装了 svn插件, 在 创建资源库位置, 下载自己需要的版本:
如下图:
选择自己需要的branches 下载:
下载 这是一个漫长的过程啊 .......
2. 构建 maven项目
这里需要 eclipse 安装maven ,
选择菜单项File,然后选择Import,我们会看到一个Import对话框。在该对话框中选择General目录下的Maven Projects,然后单击Next按钮,就会出现Import Projects对话框。
选择 你到要入的 项目 目录:
点击next 继续 完成;
3. 将maven项目 构建成 eclipse 项目导入
下载 hadoop原码: 去官网下载,我下载的是:hadoop-0.23.9-src.tar.gz
将原码解压 tar -zxvf hadoop-0.23.9-src.tar.gz
进入到 hadoop目录中: cd hadoop-0.23.9-src
将 maven装换成 eclipse 项目:(这里需要安装 maven ,安装maven步骤:http://younglibin.iteye.com/admin/blogs/1923252)
安装完成后执行 mvn eclipse:eclipse
执行这一步 ,回到 服务器上下载 eclipse 的一些东西 ,保证你的网络畅通,我这都快卡死了 ,
看到这些 说明正在 构造 eclipse 项目
看到 success 说明 已经构造成功了
构造完成后 ,在eclipse 导入已经存在 eclipse
选择 刚刚执行 maven 命令的目录:
最后会在 eclipse 中看到:
可以看到 经典的 wordcount 了
相关推荐
7. **文件名称列表"eclipse开发hadoop项目相关插件"**:这个文件可能包含了Eclipse中用于开发Hadoop项目的插件安装包或者相关配置文件,用户需要将其解压并按照上述步骤进行安装或导入到Eclipse中。 总之,通过上述...
Eclipse 配置 Hadoop 及 MapReduce 开发指南 一、Eclipse 中配置 Hadoop 插件 配置 Hadoop 插件是使用 Eclipse 进行 MapReduce 开发的第一步。首先,需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar ...
- 使用Eclipse创建Java项目,导入Hadoop的相关库,如`hadoop-core.jar`和`hadoop-client.jar`。 - 编写MapReduce程序,实现Mapper和Reducer类,以及Job配置。 - 调试代码,利用Eclipse的调试工具查看执行流程,...
为了在Eclipse中方便地开发、测试和调试Hadoop项目,开发者通常需要安装特定的Hadoop插件。本压缩包提供的是针对Eclipse连接Hadoop的不同版本插件,适用于不同版本的Eclipse,因为每个Eclipse版本可能需要兼容的插件...
用户可以导入此项目到Eclipse中,然后利用其中的配置和源代码开始编写、测试和部署Hadoop应用程序。它涵盖了大数据处理的基本框架,结合了Eclipse的强大开发工具,旨在提升开发效率并简化分布式计算的复杂性。对于想...
总的来说,要使Eclipse连接并运行Hadoop项目,我们需要安装Hadoop Eclipse Plugin,并理解`hadoop.ddl`文件中关于数据结构的信息。同时,通过实践提供的`hadoop运行案例`,可以加深对Hadoop开发的理解,从而高效地...
Eclipse Hadoop2.7插件是专门为Java开发者设计的一款工具,它允许用户在流行的集成开发环境(IDE)Eclipse中直接进行Hadoop项目的开发、调试和管理。这个插件极大地简化了Hadoop应用程序的创建过程,使得开发人员...
本文将详细讲解如何在CentOS 6.5操作系统上配置Hadoop-eclipse插件,以便在Eclipse环境中进行Hadoop项目的开发和调试。 首先,我们需要在Eclipse中安装Hadoop-eclipse插件。这个插件使得开发者可以直接在Eclipse中...
4. **配置Eclipse for Hadoop**:在Eclipse中安装Hadoop插件,如Hadoop Plugin for Eclipse,这将提供Hadoop项目的支持。 5. **安装Spark**:下载Spark源代码或者二进制包,配置SPARK_HOME环境变量。如果需要在...
Hadoop2.7.1源码(可直接导入Eclipse)
标题 "eclipse 运行hadoop工具包" 涉及到的是在Eclipse集成开发环境中运行Hadoop项目的方法。Eclipse是一款广泛使用的Java IDE,而Hadoop是Apache开源项目,主要用于大数据处理和分析。通过特定的插件,Eclipse能够...
对于Eclipse用户,导入这个编译好的源码项目,可以便于进行代码阅读和调试,这对于理解Hadoop的工作原理、定制化开发或者排查问题非常有帮助。你可以通过Eclipse的"import->Existing Maven Projects"功能导入hadop-...
首先,你需要在Eclipse中安装Hadoop相关的插件,如Hadoop插件(如Hadoop-Eclipse-Plugin),它允许你在Eclipse内直接创建和管理Hadoop项目。这可以通过Eclipse的“帮助”菜单下的“安装新软件”选项来完成。安装插件...
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
为了在Eclipse中顺利地构建、运行和调试Hadoop项目,我们需要安装一系列的JAR库。这些JAR文件包含了Hadoop的核心组件以及依赖的第三方库,确保开发者能够访问Hadoop的API并进行分布式计算。 标题 "eclipse开发...
5. **安装和配置**: 安装Hadoop插件通常涉及到下载插件文件,然后通过Eclipse的“Install New Software”功能导入并安装。配置包括设置Hadoop的路径,确保Eclipse能正确连接到Hadoop集群。 6. **开发流程**: 使用...
- 创建新的Java项目,导入Hadoop的源代码或库。 - 编写MapReduce程序,利用Eclipse的强大调试功能测试和优化代码。 7. **运行Hadoop程序**: - 使用Eclipse的构建功能将MapReduce程序打包成JAR文件。 - 使用...
3. **设置源代码关联**:为了能够在Eclipse中查看和调试Hadoop源代码,需要将Hadoop源码导入到Eclipse项目中,并在"Source Lookup"选项卡下关联源码路径。 4. **启动调试**:最后,启动调试会话,当Hadoop守护进程在...
3. **构建与部署**:Eclipse插件能够直接将你的Hadoop项目打包为JAR文件,并通过Hadoop集群进行编译和运行,无需离开IDE。 4. **调试支持**:具备强大的调试工具,可以设置断点,查看变量值,单步执行等,极大地...