Hadoop源代码在Windows下面的编译

Updated 2015-02-24

本文可以作为Windows下编译Hadoop的参考。

 

首先可以看一下编译指南：https://svn.apache.org/repos/asf/hadoop/common/trunk/BUILDING.txt

 

主要是有几个软件必须得有，不是简单的mvn package就可以的，依赖包括：

0.JDK的JAVA_HOME和Maven的M2_HOME，这是基本配置；

1.因为有native code，所以要有msbuild，即visual studio 2010/2012/2013之一（2010还不能是Express的，似乎Express 2010的不支持64位编译）

Windows SDK和VS是二选一的。

2.protocolbuffer，下载并把exe路径加入path

3.make for win32，下载并把exe路径加入path

4.Cygwin

5.zlib headers

 

具体操作：

打开命令行到hadoop源代码路径，然后：

对于64位系统，设置

set Platform=x64

对于32位系统，设置

set Platform=Win32

 

设置ZLIB_HOME到你的路径，比如我的是

set ZLIB_HOME=D:\zlib-1.2.8

---------------------------------------------------------

A. 如果是Visual Studio 10（VS 2010），那么下面可以直接执行

mvn package -Pdist,native-win -DskipTests -Dtar

 

经过漫长的等待，应该可以成功的打包出来

e:\temp\hdp\hadoop-dist\target\hadoop-x.y.z.tar.gz (x.y.z是版本号，可以是2.6.0或者3.0.0等)

---------------------------------------------------------

B. 如果是Visual Studio 12（VS 2013），那么需要进一步的设置，引用自：

http://zutai.blogspot.com/2014/06/build-install-and-run-hadoop-24-240-on.html?showComment=1422091525887#c2264594416650430988

（注意可以使用Visual Studio Express 2013）

 

B1. 首先把Visual Studio 项目 native.vcxproj, libwinutils.vcxproj and winutils.vcxproj 从 VS2010 升级到 VS2013，具体是用VS2013打开：

$hadoop-common-project\hadoop-common\src\main\winutils\winutils.sln

和

$hadoop-common-project\hadoop-common\src\main\native\native.sln

按提示升级。

 

B2.打开$hadoop-hdfs-project\hadoop-hdfs\pom.xml. 搜索 "Visual Studio 10 Win64", 改为 "Visual Studio 12 Win64"

 

B3.然后是构建过程如下：

B3.1 可以在开始菜单打开Developer Command Prompt for VS2013（中文版是"VS2013 开发人员命令提示"）,命令行目录在C:\Program Files (x86)\Microsoft Visual Studio 12.0\Common7\Tools\Shortcuts， 用这个打开的命令行提示来编译。

 

B3.2 命令行里面执行批处理"vcvarsx86_amd64.bat"，位置在"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin\x86_amd64"，即：

"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin\x86_amd64\vcvarsx86_amd64.bat"

 

B3.3 切换到源代码目录，根据需要执行：

mvn install -DskipTests

或者

mvn package -Pdist,native-win -DskipTests -Dtar

 

---------------------------------------------------------

 

另外附上两个网址，如何在windows下运行hadoop，没有测试过，可以自行试验。

http://zutai.blogspot.com/2014/06/build-install-and-run-hadoop-24-240-on.html

http://stackoverflow.com/questions/18630019/running-apache-hadoop-2-1-0-on-windows

 

注意：如果没有进行B步骤的设置（windows 8或者windows 2012，visual studio 2013），会提示：

Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2:exec (compile-ms-winutils) on project hadoop-common: Command execution failed. Cannot run program "msbuild" (in directory "C:\hdfs\hadoop-common-project\hadoop-common")

详见：http://stackoverflow.com/questions/20592050/build-hadoop-2-2-on-windows