开题:创业1年,以失败告终,被收购了(
不能说完全失败,但作为原始股东的我最终没分到一分钱。。可悲)。呵呵,回到正题,还是喜欢一个人研究各种技术,望有天可以真正的将一身所学用于实践。
到现在才学习Hadoop可能已经过时了,最近网上有很多人说学大数据应该学习spark了。本人也本着赶潮流的思维百度了一把,发现spark其实就是增强版的Hadoop。。。
,好吧,那就还是安安心心的将Hadoop好好学习一下吧--毕竟我一贯的学习目标就是学思维模式,不是追赶潮流嘛
网上可用的视频等资料有点少,为了快速入门,还是找本PDF来的快(工作5年多,感觉很多知识都是通的,感觉知识的累计还是书入门的快一些);当然,在您还没有达到一定水平时还是先看看视频来的快,毕竟老师的讲解还是很详细的
这里推荐两本书《HADOOP权威指南》和《Hadoop实战》,写的不错,比较基础,对于有一定基础的童鞋入门是没有难度的。(这两本书我就看了2、3章左右吧,但越看越手痒,总想敲代码。。。可Hadoop的开发竟然跟其他的项目不太一样。。起码结构不太一样。。。)
菜鸟
真是伤不起,先弄个eclipse插件来辅助一下吧。
由于弄这个插件浪费了我一些时间,这里就简单的记一下关键事项。有些步骤网上也有,大家见谅,我主要是用来自己备忘的
1、环境安装--JDK安装(最新版即可,不多说了,网上好多资料,太简单了)
2、环境安装--Hadoop安装(最新版即可,解压安装、配置等网上太多了,这里也不说了)
算了,还是再多说两句,配置项那一块大家最好一条一条的找google或baidu,对于初学者感觉还是有必要的
3、环境安装--Ant(最新版,解压安装,环境变量等配置,太简单了,不说了)
4、eclipse插件--去github上下载hadoop2x-eclipse-plugin-master
地址:https://github.com/winghc/hadoop2x-eclipse-plugin.git
由于都是java写的,系统无关
5、编译:
a、cmd或shell进入src\contrib\eclipse-plugin目录
b、修改build.xml,找到compile target,删除depend(网上很多人都是这么弄得,我照做了,懒得追了)
c、运行指令:
ant jar -Dversion=2.7.3 -Declipse.home=D:\soft\eclipse-jee-kepler-SR2-win32-x86_64\eclipse -Dhadoop.home=D:\soft\hadoop\hadoop-2.7.3\hadoop-2.7.3
版本号和路径改成自己的
d、查看过程,有两种报错,eclipse jar找不到或者hadoop依赖包找不到,本人试过最新版的eclipse Neon,由于插件编译过程会参考eclipse目录的plugins目录下的相关jar,最新版的eclipse结构变化,已经将那些jar隐藏了;所以想要正确安装还得下一个稍微旧版的eclipse,我试了,稍微旧一些的都没问题。只有最新的有点问题--jar拷过去也不管用
e、 hadoop依赖包的问题
src的同级目录ivy目录(hadoop2x-eclipse-plugin-master\ivy)下的libraries.properties中有对应的版本。插件编译过程中会参考这个文件里的版本信息,这里需要将版本号修改成hadoop真是路径下的版本号,目录:
hadoop-2.7.3\share\hadoop\common
f、一切没问题,你要的jar就在
hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin
赶紧拷贝到eclipse plugins中去试试Hadoop工程吧
分享到:
相关推荐
hadoop Eclipse插件Linux版本,编译环境hadoop2.2.0
hadoop版本2.7.7 Eclipse 版本4.5.1,dfs location插件,自己编译成功,使用有效,将该jar包放到eclipse的plugins目录下
标题中的“hadoop2.2 eclipse插件编译”意味着我们要讨论的是如何在Eclipse中编译适用于Hadoop 2.2版本的插件。这个过程通常涉及到下载源代码、配置构建环境以及执行编译命令。 描述中提到的“hadoop 2.x插件编译所...
安装Hadoop Eclipse插件的过程通常包括以下几个步骤: 1. 下载对应版本的插件JAR文件。 2. 在Eclipse中,选择“Help” -> “Install New Software”。 3. 在“Work with”下拉框中,选择“Add”。 4. 输入插件的临时...
【编译Hadoop Eclipse插件】是开发Hadoop应用程序的重要步骤,它允许开发者在Eclipse环境中直接编写、调试和管理Hadoop项目。本教程将详细解释如何编译和安装Hadoop Eclipse插件。 首先,确保你已经安装了**Java 8*...
1. **Hadoop Eclipse插件安装**:首先,需要下载与Hadoop版本相匹配的Eclipse插件,如压缩包子文件`hadoop-eclipse-plugin-1.0.4`。插件通常以JAR格式提供,可以通过Eclipse的“Install New Software”功能进行导入...
### Hadoop Eclipse 插件编译方法详解 #### 一、引言 Hadoop作为大数据处理领域的核心工具之一,其与开发环境的整合至关重要。Eclipse作为常用的集成开发环境(IDE),通过安装特定的插件可以极大地提升Hadoop项目的...
自己编译的hadoop-eclipse-plugin-2.2.0.jar插件:hadoop版本hadoop-2.2.0、eclipse版本:Eclipse Standard 4.3.1
本文将详细介绍如何使用Eclipse的Hadoop2.7插件以及Hadoop-common编译文件,以便在Windows环境下构建一个集成了Hadoop和Spark的开发环境。 首先,我们要理解`hadoop-eclipse-plugin-2.7.jar`这个文件的作用。这是...
在导入过程中,Eclipse会在你的工作空间中搜索项目,你应该能找到位于`src/contrib`目录下的`eclipse-plugin`项目,也就是我们要编译的Hadoop Eclipse插件,选择它并完成导入。 然后,右键点击导入的`MapReduce...
这是用hadoop官方源码生成的hadoop用在windows环境下eclipse 的插件。更新了最新的jar包文件。与资源。
hadoop2.7.1的eclipse插件,编译环境,eclipse 4.4(luna) ,jdk1.7,ant1.9.6,maven3.3,hadoop2.7.1,centos6.7,jdk1.7 要注意的是开发黄金下jdk版本必须是jdk1.7及以上,否则无法使用
hadoop--plugin-2.8.1的eclipse 插件,已经编译完成,下载hadoop2x-eclipse-plugin源代码https://github.com/winghc/hadoop2x-eclipse-plugin
本人编译的eclipse插件,验证使用正常。插件源码从github获取(hadoop2x-eclipse-plugin) 编译使用环境为: 操作系统:debian 7.6.0(32位) JDK版本:1.6.0_32 eclipse版本:4.4 hadoop版本:2.4.1
在Windows上编译最新的hadoop-eclipse-plugin1.0.4的具体方法、要解决的问题以及编译成功后,可正确使用的插件文件。 保证正确。
在实际的开发过程中,为了提高效率并减少错误,Hadoop提供了Eclipse插件,即本文讨论的`hadoop-eclipse-plugin-2.6.0.jar`。这个插件是针对Hadoop 2.6.0版本设计的,主要目标是集成Eclipse IDE,使得开发者可以在...
自己编译的hadoop-1.1.1 eclipse插件
Windows10 64位系统,eclipse下,连接Linux下hadoop的插件,已编译完成,可放置在eclipse安装目录plugins下,本版本已测试
最近学习hadoop,发现Hadoop不提供编译后的hadoop-eclipse插件,于是就自己动手编译了hadoop-eclipse-plugin-1.1.0.rar插件 Hadoop1.1.0是beta版本,有兴趣的朋友可以下载装装,感受下MapReduce编程框架