`
qindongliang1922
  • 浏览: 2188657 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117664
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:126072
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:60032
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71400
社区版块
存档分类
最新评论

Hadoop2.2.0的eclipse插件的编译

阅读更多
Hadoop2.x之后,已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具,辅助,开发调试相对起来,会稍显麻烦,特别是基于Java开发的工程师们,虽然写完MR任务后,也可以采用打成jar包的方式,上传调试,但是这种方式,也有点繁琐,不过网上也好像有一些,使用程序能够自动打包任务的程序,散仙没具体用过,在这里,就不多涉及了,有知道的朋友们,欢迎分享。


下面开始进入正题,散仙来详细介绍下,怎么编译hadoop2.x的eclipse插件,在这里首先,你得具备如下几个条件,Ant工具,hadoop2.2.0的压缩包,eclipse插件的压缩包(散仙在后面已经上传),散仙建议最好在Linux平台下进行编译,Windows可能效果不是太好,出一点小的问题都有可能导致编译失败。

具体的步骤如下:
序号描述
1确保你的ant已经安装完成,并输入ant -version测试可以正常工作
2进入到eclipse插件包的eclipse-plugin的根目录下,散仙的路径是/root/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin
3执行命令ant jar -Dversion=2.2.0 -Declipse.home=/root/eclipse -Dhadoop.home=/root/hadoop-2.2.0。注意这两个路径,分别是eclipse的根路径,和hadoop2.2.0的根路径
4最终的生成jar的路径在,/root/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin目录下
5OK,至此已经成功完成,把此插件拷贝eclipse的插件目录下,重新启动eclipse即可。



下面附上几张过程截图:

编译成功后的截图:


jar包生成的位置截图:




至此,我们的生成插件的过程,就讲解完毕了,其实搞起来是非常简单的,这个相比1.x的eclipse插件的编译过程,要简单很多了。

             最后,感谢各位道友光临散仙博客!

  • 大小: 104.4 KB
  • 大小: 170.1 KB
  • 大小: 80.4 KB
分享到:
评论
8 楼 qindongliang1922 2014-08-13  
nanjihuoyan 写道
请教博主,我要编译的hadoop-2.3.0,报错信息如下
BUILD FAILED
/home/ubuntu/hadoop2x-eclipse-plugin-master/src/contrib/build-contrib.xml:466: java.net.UnknownHostException: repo2.maven.org
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:178)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
at sun.net.www.http.HttpClient.New(HttpClient.java:308)
at sun.net.www.http.HttpClient.New(HttpClient.java:326)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:996)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:932)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:850)
at org.apache.tools.ant.taskdefs.Get$GetThread.openConnection(Get.java:690)
at org.apache.tools.ant.taskdefs.Get$GetThread.get(Get.java:606)
at org.apache.tools.ant.taskdefs.Get$GetThread.run(Get.java:596)

Total time: 26 seconds





进这个群, 376932160  讨论下,我当时用的是hadoop2.2,hadoop2.3可能某些地方变了

7 楼 nanjihuoyan 2014-08-12  
请教博主,我要编译的hadoop-2.3.0,报错信息如下
BUILD FAILED
/home/ubuntu/hadoop2x-eclipse-plugin-master/src/contrib/build-contrib.xml:466: java.net.UnknownHostException: repo2.maven.org
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:178)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
at sun.net.www.http.HttpClient.New(HttpClient.java:308)
at sun.net.www.http.HttpClient.New(HttpClient.java:326)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:996)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:932)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:850)
at org.apache.tools.ant.taskdefs.Get$GetThread.openConnection(Get.java:690)
at org.apache.tools.ant.taskdefs.Get$GetThread.get(Get.java:606)
at org.apache.tools.ant.taskdefs.Get$GetThread.run(Get.java:596)

Total time: 26 seconds
6 楼 minzhenhua 2014-02-20  
compile:
     [echo] contrib: eclipse-plugin
    [javac] /usr/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:76: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds
    [javac] Compiling 45 source files to /usr/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/classes

BUILD FAILED
/usr/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:76: /usr/local/jdk1.6.0_45/plugins does not exist.


总是报错?
5 楼 qindongliang1922 2013-12-29  
傲世凡尘 写道
换了个地方,网上好了,可以编译了。成功,谢谢了找了好久了。

还有一事不明啊,你这个hadoop2x-eclipse-plugin-master.zip (352.9 KB)是怎么来的能指教下吗?我本来也想自己的编译的,但是不知道咋弄



加我QQ吧,951514291,详聊
4 楼 傲世凡尘 2013-12-28  
换了个地方,网上好了,可以编译了。成功,谢谢了找了好久了。

还有一事不明啊,你这个hadoop2x-eclipse-plugin-master.zip (352.9 KB)是怎么来的能指教下吗?我本来也想自己的编译的,但是不知道咋弄
3 楼 傲世凡尘 2013-12-28  
qindongliang1922 写道
傲世凡尘 写道
我的卡在了[ivy:configure] :: loading settings :: file = /home/hduser/Desktop/hadoop2x-eclipse-plugin-master/ivy/ivysettings.xml

ivy-resolve-common:


求解


搞好了没,有可能是网速原因


还是卡在那,这一步是要下JAR包吗?还是干啥。我是用你的文件+eclipse standard版本+JDK7运行的
2 楼 qindongliang1922 2013-12-27  
傲世凡尘 写道
我的卡在了[ivy:configure] :: loading settings :: file = /home/hduser/Desktop/hadoop2x-eclipse-plugin-master/ivy/ivysettings.xml

ivy-resolve-common:


求解


搞好了没,有可能是网速原因
1 楼 傲世凡尘 2013-12-26  
我的卡在了[ivy:configure] :: loading settings :: file = /home/hduser/Desktop/hadoop2x-eclipse-plugin-master/ivy/ivysettings.xml

ivy-resolve-common:


求解

相关推荐

    hadoop2.2.0 eclipse-kepler 编译插件

    hadoop2.2.0 eclipse插件-重新编译过。hadoop用的是hadoop2.2.0版本,eclipse用的是 eclipse-kepler。 插件 eclipse-kepler

    hadoop2.2.0的eclipse插件

    自己编译的hadoop-eclipse-plugin-2.2.0.jar插件:hadoop版本hadoop-2.2.0、eclipse版本:Eclipse Standard 4.3.1

    Hadoop Eclipse插件2.2.0版本

    hadoop Eclipse插件Linux版本,编译环境hadoop2.2.0

    hadoop2.2.0下的eclipse插件

    hadoop2.2.0下的eclipse插件,已经编译好的,直接可以使用哦。

    windows下连接hadoop2.2.0的eclipse+hadoop插件

    本文将详细讲解如何使用Eclipse与Hadoop 2.2.0插件进行连接,以便于在Windows操作系统上进行Hadoop相关的开发工作。 首先,我们需要确保已经安装了Eclipse IDE。Eclipse是一个开放源码的Java集成开发环境,适用于...

    hadoop_eclipse插件

    例如,`hadoop-eclipse-kepler-plugin-2.4.1.jar`和`hadoop-eclipse-kepler-plugin-2.2.0.jar`是专门为Eclipse Kepler版本设计的,Kepler是Eclipse IDE的一个特定版本。这意味着这些插件可能包含了针对该IDE版本的...

    如何在Windows下的eclipse调试Hadoop2.2.0分布式集群

    在Windows环境下,使用Eclipse进行Hadoop 2.2.0分布式集群的调试是一项重要的技能,这可以帮助开发者更好地理解和优化Hadoop程序。以下是一些关键的知识点,将指导你完成这个过程。 首先,Hadoop是一个开源的分布式...

    hadoop-eclipse-plugin-2.2.0.jar

    编译的hadoop的Eclipse插件,

    Hadoop2.2.0 HDFS开发依赖的jar包

    Hadoop2.2.0版本是一个重要的里程碑,引入了诸多改进和优化,增强了系统的稳定性和性能。为了在Eclipse这样的开发环境中进行HDFS相关的开发工作,你需要正确的jar包支持。下面我们将详细讨论Hadoop2.2.0 HDFS开发所...

    hadoop-eclipse-plugin-2.2.0

    亲自编译的,我的编译环境 eclipse indigo X86_64 版本。centos。

    hadoop补丁

    使用Eclipse开发Hadoop应用时,通常会借助插件如Hadoop Eclipse Plugin,它允许用户直接在Eclipse中创建、编辑、编译和部署MapReduce作业。然而,由于操作系统和Hadoop版本间的差异,未经修正的插件可能无法正确地与...

    hadoop-common-2.2.0-bin

    要解决这个问题,开发者需要确保Hadoop的bin目录已经被添加到系统的PATH环境变量中,这样Eclipse才能在编译和运行时找到Hadoop的相关命令。 Hadoop Common是Hadoop生态系统的基础部分,包含了一组通用的工具和服务...

    hadoop2+eclipse+win7开发所需环境

    - **hadoop-eclipse-plugin-2.2.0.jar, hadoop-eclipse-plugin-2.3.0.jar**: 这两个JAR文件分别对应于Hadoop 2.2.0和2.3.0版本的Eclipse插件。开发者可以根据自己Hadoop集群的版本选择合适的插件,以确保最佳的兼容...

    Hadoop-2.2.0源码包

    Hadoop-2.2.0源码包是一个关键资源,对于深入理解Hadoop框架的运行机制、进行二次开发或在Eclipse环境中调试Hadoop项目至关重要。这个版本的Hadoop源码包含了所有相关的Java源文件、配置文件以及构建脚本,为开发者...

    eclipse插件

    5. **自行编译**:如果预编译的插件不满足特定需求或者与使用的Hadoop版本不兼容,开发者可以选择从源代码自行编译插件。这通常涉及到获取Hadoop项目的源代码,配置相应的构建工具(如Maven或Ant),然后按照指导...

    Windows环境下Hadoop开发环境配置.docx

    - 下载适用于Hadoop 2.x版本的Hadoop for Eclipse插件,例如hadoop-eclipse-plugin-2.2.0。 - 将插件复制到Eclipse安装目录的plugins子目录,然后重启Eclipse。 5. **配置Eclipse**: - 配置Hadoop安装路径:在...

    Spark+Hadoop+IDE环境搭建

    1. **下载Spark**:从Apache官网下载Spark源码或预编译版本,确保与Hadoop版本兼容。 2. **配置环境变量**:设置SPARK_HOME,并在PATH中添加Spark的bin目录。 3. **配置spark-env.sh**:在SPARK_HOME/conf目录下,...

    hadoop的winutils,hadoop.dll

    在Eclipse中编写和运行Hadoop程序时,如果没有正确配置或缺失`winutils.exe`及其关联文件,就会导致编译或运行时出错。 `hadoop.dll`是Hadoop在Windows平台上运行所必需的一个动态链接库文件,它为`winutils.exe`...

Global site tag (gtag.js) - Google Analytics