转载 http://www.ilablog.org/%E7%BC%96%E8%AF%91hadoop-eclipse%E6%8F%92%E4%BB%B6/
编译hadoop-eclipse插件
目录
一、所需软件… 2
二、Ant和Cygwin安装… 2
三、编译hadoop-eclipse-plugin-1.0.3.jar插件… 5
前言:
由于开发人员使用不同的eclipse版本,hadoop自0.20.x版本后不再提供现成的hadoop-eclipse插件而是给出了源码自行编译。
一、所需软件
Windows 7旗舰版
Eclipse 3.7.0
Ant
Cygwin
hadoop-1.0.3
二、Ant和Cygwin安装
1、Ant安装
(1)将Ant解压放在合适目录:比如D盘。
(2)配置Ant环境变量:D:\Ant\apache-ant-1.8.4\bin
(3)控制台中输入echo %PAHT% 使环境变量生效。(没必要重启)
2、Cygwin 安装(cygwin是一个在windows平台上运行的unix模拟环境)
(1)从Cygwin官网下载setup.exe进行在线安装。
(2)
列表中有很多可以下载的网址,找合适的选一个就行,比如网易的。
(3)配置环境Cygwin环境变量。
H:\Cygwin\bin
H:\Cygwin\usr\sbin
三、编译hadoop-eclipse-plugin-1.0.3.jar插件
1、将hadoop解压。比如:D:\hadoop-1.0.3。
2、进入D:\hadoop-1.0.3\src\contrib目录。将build-contrib.xml复制到D:\hadoop-1.0.3\src\contrib\eclipse-plugin目录下。
3、修改build-contrib.xml文件:
将hadoop.root改为hadoop解压目录。
<property name=”hadoop.root” location=” D:\hadoop-1.0.3″/>
在下面添加如下两行:Eclipse安装根目录,和hadoop版本。
<property name=”eclipse.home” location=”D:\eclipse”/>
<property name=”version” value=”1.0.3″/>
4、在D:\hadoop-1.0.3\src\contrib\eclipse-plugin 目录下创建lib目录,并将以下jar包复制进来:commons-configuration-1.6.jar、commons-httpclient-3.0.1.jar、commons-lang-2.4.jar
jackson-core-asl-1.8.8.jar、jackson-mapper-asl-1.8.8.jar.
5、在D:\hadoop-1.0.3下创建build文件夹,将hadoop-core-1.0.3.jar复制进来。
在D:\hadoop-1.0.3\build目录下创建D:\hadoop-1.0.3\build\ivy\lib\Hadoop\common目录并将commons-cli-1.2.jar复制到该目录下。
6、修改build.xml文件。目录:D:\hadoop-1.0.3\src\contrib\eclipse-plugin
<target name=”jar” depends=”compile” unless=”skip.contrib”>
<mkdir dir=”${build.dir}/lib”/>
<copy file=”${hadoop.root}/build/hadoop-core-${version}.jar” tofile=”${build.dir}/lib/hadoop-core.jar” verbose=”true”/>
<copy file=”${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/build/commons-configuration-1.6.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/build/commons-httpclient-3.0.1.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/build/commons-lang-2.4.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/build/jackson-core-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/build/jackson-mapper-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>
<jar
jarfile=”${build.dir}/hadoop-${name}-${version}.jar”
manifest=”${root}/META-INF/MANIFEST.MF”>
<fileset dir=”${build.dir}” includes=”classes/ lib/”/>
<fileset dir=”${root}” includes=”resources/ plugin.xml”/>
</jar>
</target>
7、修改:MANIFEST.MF文件。目录:D:\hadoop-1.0.3\src\contrib\eclipse-plugin\META-INF
Bundle-ClassPath那一栏加入如下信息:
Bundle-ClassPath: classes/,
lib/hadoop-core.jar,
lib/commons-cli-1.2.jar,
lib/commons-configuration-1.6.jar,
lib/commons-httpclient-3.0.1.jar,
lib/commons-lang-2.4.jar,
lib/commons-jackson-core-asl-1.8.8.jar,
lib/commons-jackson-mapper-asl-1.8.8.jar
8、在控制台切换到目录D:\hadoop-1.0.3\src\contrib\eclipse-plugin,使用Ant进行编译(编译过程中需要联网,一些缺少的包会从网上下载)。最后生成的结果会在D:\hadoop-1.0.3\build\contrib\eclipse-plugin下面。
分享到:
相关推荐
通过该插件,开发者可以将Java代码编写、编译和测试的流程无缝集成到熟悉的Eclipse界面中,无需离开IDE就能对Hadoop集群进行操作。 在安装Hadoop-Eclipse-Plugin-2.6.4.jar之后,开发者可以通过Eclipse的"New -> ...
《Hadoop-eclipse-plugin-2.7.2:在Eclipse中轻松开发Hadoop应用》 在大数据处理领域,Hadoop作为一个开源的分布式计算框架,因其高效、可扩展的特性而备受青睐。然而,对于开发者而言,有效地集成开发环境至关重要...
自己编译的hadoop-eclipse插件,亲测可用,适合hadoop-2.7.4版本
hadoop-eclipse-plugin-2.7.2.jar,编译环境win10-64,ant-1.9.6,eclipse-4.5.2(4.5.0可用,其他未测),hadoop-2.7.2
这是用hadoop官方源码生成的hadoop用在windows环境下eclipse 的插件。更新了最新的jar包文件。与资源。
hadoop-eclipse-plugin-2.6.4.jar,编译环境win7-64,ant-1.9.6,eclipse-4.5.2(4.5.0测试也可用,其他未测),hadoop-2.6.4
hadoop-eclipse-plugin.jar插件基于Ubuntu18.04和Hadoop-3.2.1编译的,最后可以在eclipse创建Map Reduce文件
win32位上编译的hadoop-eclipse-plugin,hadoop版本为2.6.0
在实际的开发过程中,为了提高效率并减少错误,Hadoop提供了Eclipse插件,即本文讨论的`hadoop-eclipse-plugin-2.6.0.jar`。这个插件是针对Hadoop 2.6.0版本设计的,主要目标是集成Eclipse IDE,使得开发者可以在...
Hadoop-eclipse-plugin-2.7.0.zip是一款专为32位系统设计的Hadoop-eclipse插件,该插件是基于开源项目Hadoop 2.7.0和Java Development Kit(JDK)1.8的x86版本。它的核心功能在于提供了一个直观的开发环境,使得Java...
通过该插件,开发者可以享受到图形化的项目管理、源代码编辑、编译和调试功能,无需离开Eclipse就能进行Hadoop应用的生命周期管理。 Hadoop Eclipse Plugin 2.7.1 版本兼容Hadoop 2.7.1,这是一个稳定且广泛使用的...
Hadoop-2.8.3-Eclipse-Plugin插件包是专为开发人员设计的一款工具,旨在简化Hadoop生态系统在Eclipse或MyEclipse集成开发环境(IDE)中的使用。这款插件允许开发者直接在IDE内创建、调试和管理Hadoop项目,极大地...
Hadoop-Eclipse是一款针对Apache Hadoop的Eclipse插件,旨在简化Hadoop集群上的Java应用程序开发和调试过程。这款插件允许开发者在Eclipse集成开发环境中直接创建、配置、运行和调试MapReduce作业,极大地提高了开发...
1. **plugin.xml**:这是Eclipse插件的配置文件,定义了插件的元数据,包括插件ID、版本、依赖关系等。通过这个文件,Eclipse知道如何加载和使用该插件。 2. **META-INF**:这个目录包含了插件的元信息,如MANIFEST...
利用这个插件,你可以轻松创建MapReduce项目,编写Mapper和Reducer类,然后直接在Eclipse内部进行编译、测试和提交到Hadoop集群。这对于快速迭代和调试代码非常有帮助,避免了繁琐的手动部署过程。 此外,hadoop-...
Hadoop Eclipse Plugin 2.7.2是一个专门为Eclipse设计的插件,它允许开发者在Eclipse环境下直接创建、编辑、构建和部署Hadoop MapReduce项目。该插件与Hadoop 2.7.2、2.7.3和2.5.1版本兼容,这使得开发人员可以在...
Hadoop Eclipse Plugin的出现解决了这一问题,它允许开发者在熟悉的Eclipse环境中进行Hadoop项目开发,提供了图形化的项目管理、编译、运行等功能。 二、Hadoop Eclipse Plugin的功能 1. **项目创建与管理**:插件...
eclipse hadoop插件 ,基于hadoop2.8.2,亲测可用,不想用分下载的可以直接到这位大大的地盘去下载编译:https://github.com/jiaoyilun/hadoop2x-eclipse-plugin
hadoop-eclipse-plugin-2.7.7.jar,插件使用环境hadoop-2.7.7版本+eclipse较新的版本。