编译Hadoop的Eclipse插件（Windows）

使用的是CDH3u4的hadoop，和单独的hadoop差不多，但是参考网上的教程的时候遇到的问题还是很多的，所以就记录下来。

1.添加工程

在Eclipse中Import导入已有的工程目录：\src\contrib\eclipse-plugin\

2.添加build-contrib.xml

直接把\src\contrib\build-contrib.xml拖到工程中就可以了，注意选择复制的添加方式。

3.修改build-contrib.xml

这里是重头戏。

找到<property name="hadoop.root" location="${root}/../../../"/>修改location为hadoop的实际解压目录，在其下添加

<property name="eclipse.home" location="你的Eclipse安装目录"/>
<property name="version" value="Hadoop安装版本"/>

例如

<property name="eclipse.home" location="D:/Eclipse"/>
<property name="version" value="0.20.2-cdh3u4"/>

具体位置需要改为你的，注意location里的斜杠方向。CDH3版本号多了个后缀，要么直接加上cdh3u4，要么不加但是把所有用到的有version的jar包都去掉cdh3u4，显然前一种方法比较方便。

4.修改build.xml

找到<import file="../build-contrib.xml"/>，改为<import file="build-contrib.xml"/>

添加hadoop-core的jar包，这个问题足足困扰了两天。

找到<path id="classpath">，在下面添加 <pathelement location="${hadoop.root}/hadoop-core-0.20.2-cdh3u4.jar"/>

这个文件的位置变了，直接用复制过来的。

5.复制一些文件

hadoop-core-0.20.2-cdh3u4.jar 到 \build\hadoop-core-0.20.2-cdh3u4.jar；\lib\commons-cli-1.2.jar到\build\ivy\lib\Hadoop\common\commons-cli-1.2.jar，如果上述目录没有则新建一下。

6.编译

在build.xml上右击run，选择Ant Run就可以了。

 

7.继续修改jar文件

在eclipse里面添加了文件之后，添加远程HDFS后双击时会出现一个错误提示（不影响正常使用）

An internal error occurred during: "Map/Reduce location status updater".
org/codehaus/jackson/map/JsonMappingException
An internal error occurred during: "Map/Reduce location status updater".
org/codehaus/jackson/JsonProcessingException

其中第二个是在部分改正了第一个问题后才会出现的，原因都一样，编译出来的jar包里面没有包含jackson-core-asl-1.5.2.jar和jackson-mapper-asl-1.5.2.jar包，打开这两个包，然后把里面的org文件夹都复制到hadoop-core-0.20.2-cdh3u4.jar中的class文件夹中，就能解决。

然后打开DFS Location后又会有错误

An internal error occurred during: "Connecting to DFS Hadoop0".
org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap
解决方法也一样，把guava-r09-jarjar.jar中的org文件夹也添加到hadoop-core-0.20.2-cdh3u4.jar中去。

 

 

此外网上说需要修改源代码，但是我实际比较了下，在cdh3u4里面已经改过了，另外也有要求对编译生成的jar包添加部分lib实现登陆功能，但也是对以前版本的，我这个版本并不需要。具体可以根据运行插件时的错误来添加相应的包，跟上面一样。

大家也可以去https://code.google.com/p/hadoop-eclipse-plugin/downloads/list下载别人编译好的文件，我也是通过和这里面的代码进行比较后才发现不需要添加lib的

 

这次整个过程的主要的问题是对ant的使用缺乏了解，以为和Eclipse的一些classpath是通用的，所以明明在eclipse里面添加了对应的jar包，但是仍然提示无法找到，浪费了好几天时间……

ant是基于xml的，所以改配置还是比较方便，只要知道classpath是用了哪几个参数就可以了。

截图就没高兴截，个人感觉光看这些叙述应该够了。

 

部分参考的内容：

在eclipse中配置hadoop插件

http://www.cnblogs.com/hiddenfox/archive/2011/11/26/2264461.html

《转载》hadoop cdh3u3 eclipse插件编译

http://www.cnblogs.com/riverphoenix/archive/2012/05/03/2481034.html

hadoop-eclipse-plugin-for-cdh3-u3

http://blog.thisisfeifan.com/2012/04/hadoop-eclipse-plugin-for-cdh3-u3.html