- 浏览: 2188657 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (682)
- 软件思想 (7)
- Lucene(修真篇) (17)
- Lucene(仙界篇) (20)
- Lucene(神界篇) (11)
- Solr (48)
- Hadoop (77)
- Spark (38)
- Hbase (26)
- Hive (19)
- Pig (25)
- ELK (64)
- Zookeeper (12)
- JAVA (119)
- Linux (59)
- 多线程 (8)
- Nutch (5)
- JAVA EE (21)
- Oracle (7)
- Python (32)
- Xml (5)
- Gson (1)
- Cygwin (1)
- JavaScript (4)
- MySQL (9)
- Lucene/Solr(转) (5)
- 缓存 (2)
- Github/Git (1)
- 开源爬虫 (1)
- Hadoop运维 (7)
- shell命令 (9)
- 生活感悟 (42)
- shell编程 (23)
- Scala (11)
- MongoDB (3)
- docker (2)
- Nodejs (3)
- Neo4j (5)
- storm (3)
- opencv (1)
最新评论
-
qindongliang1922:
粟谷_sugu 写道不太理解“分词字段存储docvalue是没 ...
浅谈Lucene中的DocValues -
粟谷_sugu:
不太理解“分词字段存储docvalue是没有意义的”,这句话, ...
浅谈Lucene中的DocValues -
yin_bp:
高性能elasticsearch ORM开发库使用文档http ...
为什么说Elasticsearch搜索是近实时的? -
hackWang:
请问博主,有用solr做电商的搜索项目?
Solr中Group和Facet的用法 -
章司nana:
遇到的问题同楼上 为什么会返回null
Lucene4.3开发之第八步之渡劫初期(八)
Hadoop2.x之后,已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具,辅助,开发调试相对起来,会稍显麻烦,特别是基于Java开发的工程师们,虽然写完MR任务后,也可以采用打成jar包的方式,上传调试,但是这种方式,也有点繁琐,不过网上也好像有一些,使用程序能够自动打包任务的程序,散仙没具体用过,在这里,就不多涉及了,有知道的朋友们,欢迎分享。
下面开始进入正题,散仙来详细介绍下,怎么编译hadoop2.x的eclipse插件,在这里首先,你得具备如下几个条件,Ant工具,hadoop2.2.0的压缩包,eclipse插件的压缩包(散仙在后面已经上传),散仙建议最好在Linux平台下进行编译,Windows可能效果不是太好,出一点小的问题都有可能导致编译失败。
具体的步骤如下:
下面附上几张过程截图:
编译成功后的截图:
jar包生成的位置截图:
至此,我们的生成插件的过程,就讲解完毕了,其实搞起来是非常简单的,这个相比1.x的eclipse插件的编译过程,要简单很多了。
最后,感谢各位道友光临散仙博客!
进这个群, 376932160 讨论下,我当时用的是hadoop2.2,hadoop2.3可能某些地方变了
加我QQ吧,951514291,详聊
搞好了没,有可能是网速原因
还是卡在那,这一步是要下JAR包吗?还是干啥。我是用你的文件+eclipse standard版本+JDK7运行的
搞好了没,有可能是网速原因
下面开始进入正题,散仙来详细介绍下,怎么编译hadoop2.x的eclipse插件,在这里首先,你得具备如下几个条件,Ant工具,hadoop2.2.0的压缩包,eclipse插件的压缩包(散仙在后面已经上传),散仙建议最好在Linux平台下进行编译,Windows可能效果不是太好,出一点小的问题都有可能导致编译失败。
具体的步骤如下:
序号 | 描述 |
1 | 确保你的ant已经安装完成,并输入ant -version测试可以正常工作 |
2 | 进入到eclipse插件包的eclipse-plugin的根目录下,散仙的路径是/root/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin |
3 | 执行命令ant jar -Dversion=2.2.0 -Declipse.home=/root/eclipse -Dhadoop.home=/root/hadoop-2.2.0。注意这两个路径,分别是eclipse的根路径,和hadoop2.2.0的根路径 |
4 | 最终的生成jar的路径在,/root/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin目录下 |
5 | OK,至此已经成功完成,把此插件拷贝eclipse的插件目录下,重新启动eclipse即可。 |
下面附上几张过程截图:
编译成功后的截图:
jar包生成的位置截图:
至此,我们的生成插件的过程,就讲解完毕了,其实搞起来是非常简单的,这个相比1.x的eclipse插件的编译过程,要简单很多了。
最后,感谢各位道友光临散仙博客!
- hadoop2x-eclipse-plugin-master.zip (352.9 KB)
- 下载次数: 611
评论
8 楼
qindongliang1922
2014-08-13
nanjihuoyan 写道
请教博主,我要编译的hadoop-2.3.0,报错信息如下
BUILD FAILED
/home/ubuntu/hadoop2x-eclipse-plugin-master/src/contrib/build-contrib.xml:466: java.net.UnknownHostException: repo2.maven.org
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:178)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
at sun.net.www.http.HttpClient.New(HttpClient.java:308)
at sun.net.www.http.HttpClient.New(HttpClient.java:326)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:996)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:932)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:850)
at org.apache.tools.ant.taskdefs.Get$GetThread.openConnection(Get.java:690)
at org.apache.tools.ant.taskdefs.Get$GetThread.get(Get.java:606)
at org.apache.tools.ant.taskdefs.Get$GetThread.run(Get.java:596)
Total time: 26 seconds
BUILD FAILED
/home/ubuntu/hadoop2x-eclipse-plugin-master/src/contrib/build-contrib.xml:466: java.net.UnknownHostException: repo2.maven.org
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:178)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
at sun.net.www.http.HttpClient.New(HttpClient.java:308)
at sun.net.www.http.HttpClient.New(HttpClient.java:326)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:996)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:932)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:850)
at org.apache.tools.ant.taskdefs.Get$GetThread.openConnection(Get.java:690)
at org.apache.tools.ant.taskdefs.Get$GetThread.get(Get.java:606)
at org.apache.tools.ant.taskdefs.Get$GetThread.run(Get.java:596)
Total time: 26 seconds
进这个群, 376932160 讨论下,我当时用的是hadoop2.2,hadoop2.3可能某些地方变了
7 楼
nanjihuoyan
2014-08-12
请教博主,我要编译的hadoop-2.3.0,报错信息如下
BUILD FAILED
/home/ubuntu/hadoop2x-eclipse-plugin-master/src/contrib/build-contrib.xml:466: java.net.UnknownHostException: repo2.maven.org
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:178)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
at sun.net.www.http.HttpClient.New(HttpClient.java:308)
at sun.net.www.http.HttpClient.New(HttpClient.java:326)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:996)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:932)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:850)
at org.apache.tools.ant.taskdefs.Get$GetThread.openConnection(Get.java:690)
at org.apache.tools.ant.taskdefs.Get$GetThread.get(Get.java:606)
at org.apache.tools.ant.taskdefs.Get$GetThread.run(Get.java:596)
Total time: 26 seconds
BUILD FAILED
/home/ubuntu/hadoop2x-eclipse-plugin-master/src/contrib/build-contrib.xml:466: java.net.UnknownHostException: repo2.maven.org
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:178)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
at sun.net.www.http.HttpClient.New(HttpClient.java:308)
at sun.net.www.http.HttpClient.New(HttpClient.java:326)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:996)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:932)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:850)
at org.apache.tools.ant.taskdefs.Get$GetThread.openConnection(Get.java:690)
at org.apache.tools.ant.taskdefs.Get$GetThread.get(Get.java:606)
at org.apache.tools.ant.taskdefs.Get$GetThread.run(Get.java:596)
Total time: 26 seconds
6 楼
minzhenhua
2014-02-20
compile:
[echo] contrib: eclipse-plugin
[javac] /usr/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:76: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds
[javac] Compiling 45 source files to /usr/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/classes
BUILD FAILED
/usr/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:76: /usr/local/jdk1.6.0_45/plugins does not exist.
总是报错?
[echo] contrib: eclipse-plugin
[javac] /usr/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:76: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds
[javac] Compiling 45 source files to /usr/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/classes
BUILD FAILED
/usr/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:76: /usr/local/jdk1.6.0_45/plugins does not exist.
总是报错?
5 楼
qindongliang1922
2013-12-29
傲世凡尘 写道
换了个地方,网上好了,可以编译了。成功,谢谢了找了好久了。
还有一事不明啊,你这个hadoop2x-eclipse-plugin-master.zip (352.9 KB)是怎么来的能指教下吗?我本来也想自己的编译的,但是不知道咋弄
还有一事不明啊,你这个hadoop2x-eclipse-plugin-master.zip (352.9 KB)是怎么来的能指教下吗?我本来也想自己的编译的,但是不知道咋弄
加我QQ吧,951514291,详聊
4 楼
傲世凡尘
2013-12-28
换了个地方,网上好了,可以编译了。成功,谢谢了找了好久了。
还有一事不明啊,你这个hadoop2x-eclipse-plugin-master.zip (352.9 KB)是怎么来的能指教下吗?我本来也想自己的编译的,但是不知道咋弄
还有一事不明啊,你这个hadoop2x-eclipse-plugin-master.zip (352.9 KB)是怎么来的能指教下吗?我本来也想自己的编译的,但是不知道咋弄
3 楼
傲世凡尘
2013-12-28
qindongliang1922 写道
傲世凡尘 写道
我的卡在了[ivy:configure] :: loading settings :: file = /home/hduser/Desktop/hadoop2x-eclipse-plugin-master/ivy/ivysettings.xml
ivy-resolve-common:
求解
ivy-resolve-common:
求解
搞好了没,有可能是网速原因
还是卡在那,这一步是要下JAR包吗?还是干啥。我是用你的文件+eclipse standard版本+JDK7运行的
2 楼
qindongliang1922
2013-12-27
傲世凡尘 写道
我的卡在了[ivy:configure] :: loading settings :: file = /home/hduser/Desktop/hadoop2x-eclipse-plugin-master/ivy/ivysettings.xml
ivy-resolve-common:
求解
ivy-resolve-common:
求解
搞好了没,有可能是网速原因
1 楼
傲世凡尘
2013-12-26
我的卡在了[ivy:configure] :: loading settings :: file = /home/hduser/Desktop/hadoop2x-eclipse-plugin-master/ivy/ivysettings.xml
ivy-resolve-common:
求解
ivy-resolve-common:
求解
发表评论
-
Apache Flink在阿里的使用(译)
2019-02-21 21:18 1209Flink是未来大数据实时 ... -
计算机图形处理的一些知识
2018-04-25 17:46 1234最近在搞opencv来做一些 ... -
如何在kylin中构建一个cube
2017-07-11 19:06 1282前面的文章介绍了Apache Kylin的安装及数据仓 ... -
Apache Kylin的入门安装
2017-06-27 21:27 2148Apache Kylin™是一个开源的分布式分析引擎,提供 ... -
ES-Hadoop插件介绍
2017-04-27 18:07 1996上篇文章,写了使用spark集成es框架,并向es写入数据,虽 ... -
如何在Scala中读取Hadoop集群上的gz压缩文件
2017-04-05 18:51 2138存在Hadoop集群上的文件,大部分都会经过压缩,如果是压缩 ... -
如何收集项目日志统一发送到kafka中?
2017-02-07 19:07 2798上一篇(http://qindongliang.iteye. ... -
Hue+Hive临时目录权限不够解决方案
2016-06-14 10:40 4725安装Hue后,可能会分配多个账户给一些业务部门操作hive,虽 ... -
Hadoop的8088页面失效问题
2016-03-31 11:21 4458前两天重启了测试的hadoop集群,今天访问集群的8088任 ... -
Hadoop+Hbase集群数据迁移问题
2016-03-23 21:00 2528数据迁移或备份是任何 ... -
如何监控你的Hadoop+Hbase集群?
2016-03-21 16:10 4924前言 监控hadoop的框架 ... -
Logstash与Kafka集成
2016-02-24 18:44 11650在ELKK的架构中,各个框架的角色分工如下: Elastic ... -
Kakfa集群搭建
2016-02-23 15:36 2653先来整体熟悉下Kafka的一些概念和架构 (一)什么是Ka ... -
大数据日志收集框架之Flume入门
2016-02-02 14:25 4193Flume是Cloudrea公司开源的一款优秀的日志收集框架 ... -
Apache Tez0.7编译笔记
2016-01-15 16:33 2536目前最新的Tez版本是0.8,但还不是稳定版,所以大家还 ... -
Bug死磕之hue集成的oozie+pig出现资源任务死锁问题
2016-01-14 15:52 3844这两天,打算给现有的 ... -
Hadoop2.7.1和Hbase0.98添加LZO压缩
2016-01-04 17:46 26091,执行命令安装一些依赖组件 yum install -y ... -
Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析
2015-11-11 19:51 3184关于NameNode高可靠需要配置的文件有core-site ... -
设置Hadoop+Hbase集群pid文件存储位置
2015-10-20 13:40 2865有时候,我们对运行几 ... -
Hadoop+Maven项目打包异常
2015-08-11 19:36 1593先简单说下业务:有一个单独的模块,可以在远程下载Hadoop上 ...
相关推荐
hadoop2.2.0 eclipse插件-重新编译过。hadoop用的是hadoop2.2.0版本,eclipse用的是 eclipse-kepler。 插件 eclipse-kepler
自己编译的hadoop-eclipse-plugin-2.2.0.jar插件:hadoop版本hadoop-2.2.0、eclipse版本:Eclipse Standard 4.3.1
hadoop Eclipse插件Linux版本,编译环境hadoop2.2.0
hadoop2.2.0下的eclipse插件,已经编译好的,直接可以使用哦。
本文将详细讲解如何使用Eclipse与Hadoop 2.2.0插件进行连接,以便于在Windows操作系统上进行Hadoop相关的开发工作。 首先,我们需要确保已经安装了Eclipse IDE。Eclipse是一个开放源码的Java集成开发环境,适用于...
例如,`hadoop-eclipse-kepler-plugin-2.4.1.jar`和`hadoop-eclipse-kepler-plugin-2.2.0.jar`是专门为Eclipse Kepler版本设计的,Kepler是Eclipse IDE的一个特定版本。这意味着这些插件可能包含了针对该IDE版本的...
在Windows环境下,使用Eclipse进行Hadoop 2.2.0分布式集群的调试是一项重要的技能,这可以帮助开发者更好地理解和优化Hadoop程序。以下是一些关键的知识点,将指导你完成这个过程。 首先,Hadoop是一个开源的分布式...
编译的hadoop的Eclipse插件,
Hadoop2.2.0版本是一个重要的里程碑,引入了诸多改进和优化,增强了系统的稳定性和性能。为了在Eclipse这样的开发环境中进行HDFS相关的开发工作,你需要正确的jar包支持。下面我们将详细讨论Hadoop2.2.0 HDFS开发所...
亲自编译的,我的编译环境 eclipse indigo X86_64 版本。centos。
使用Eclipse开发Hadoop应用时,通常会借助插件如Hadoop Eclipse Plugin,它允许用户直接在Eclipse中创建、编辑、编译和部署MapReduce作业。然而,由于操作系统和Hadoop版本间的差异,未经修正的插件可能无法正确地与...
要解决这个问题,开发者需要确保Hadoop的bin目录已经被添加到系统的PATH环境变量中,这样Eclipse才能在编译和运行时找到Hadoop的相关命令。 Hadoop Common是Hadoop生态系统的基础部分,包含了一组通用的工具和服务...
- **hadoop-eclipse-plugin-2.2.0.jar, hadoop-eclipse-plugin-2.3.0.jar**: 这两个JAR文件分别对应于Hadoop 2.2.0和2.3.0版本的Eclipse插件。开发者可以根据自己Hadoop集群的版本选择合适的插件,以确保最佳的兼容...
Hadoop-2.2.0源码包是一个关键资源,对于深入理解Hadoop框架的运行机制、进行二次开发或在Eclipse环境中调试Hadoop项目至关重要。这个版本的Hadoop源码包含了所有相关的Java源文件、配置文件以及构建脚本,为开发者...
5. **自行编译**:如果预编译的插件不满足特定需求或者与使用的Hadoop版本不兼容,开发者可以选择从源代码自行编译插件。这通常涉及到获取Hadoop项目的源代码,配置相应的构建工具(如Maven或Ant),然后按照指导...
- 下载适用于Hadoop 2.x版本的Hadoop for Eclipse插件,例如hadoop-eclipse-plugin-2.2.0。 - 将插件复制到Eclipse安装目录的plugins子目录,然后重启Eclipse。 5. **配置Eclipse**: - 配置Hadoop安装路径:在...
1. **下载Spark**:从Apache官网下载Spark源码或预编译版本,确保与Hadoop版本兼容。 2. **配置环境变量**:设置SPARK_HOME,并在PATH中添加Spark的bin目录。 3. **配置spark-env.sh**:在SPARK_HOME/conf目录下,...
在Eclipse中编写和运行Hadoop程序时,如果没有正确配置或缺失`winutils.exe`及其关联文件,就会导致编译或运行时出错。 `hadoop.dll`是Hadoop在Windows平台上运行所必需的一个动态链接库文件,它为`winutils.exe`...