Updated 2015-02-24
本文可以作为Windows下编译Hadoop的参考。
首先可以看一下编译指南:https://svn.apache.org/repos/asf/hadoop/common/trunk/BUILDING.txt
主要是有几个软件必须得有,不是简单的mvn package就可以的,依赖包括:
0.JDK的JAVA_HOME和Maven的M2_HOME,这是基本配置;
1.因为有native code,所以要有msbuild,即visual studio 2010/2012/2013之一(2010还不能是Express的,似乎Express 2010的不支持64位编译)
Windows SDK和VS是二选一的。
2.protocolbuffer,下载并把exe路径加入path
3.make for win32,下载并把exe路径加入path
4.Cygwin
5.zlib headers
具体操作:
打开命令行到hadoop源代码路径,然后:
对于64位系统,设置
set Platform=x64
对于32位系统,设置
set Platform=Win32
设置ZLIB_HOME到你的路径,比如我的是
set ZLIB_HOME=D:\zlib-1.2.8
---------------------------------------------------------
A. 如果是Visual Studio 10(VS 2010),那么下面可以直接执行
mvn package -Pdist,native-win -DskipTests -Dtar
经过漫长的等待,应该可以成功的打包出来
e:\temp\hdp\hadoop-dist\target\hadoop-x.y.z.tar.gz (x.y.z是版本号,可以是2.6.0或者3.0.0等)
---------------------------------------------------------
B. 如果是Visual Studio 12(VS 2013),那么需要进一步的设置,引用自:
(注意可以使用Visual Studio Express 2013)
B1. 首先把Visual Studio 项目 native.vcxproj, libwinutils.vcxproj and winutils.vcxproj 从 VS2010 升级到 VS2013,具体是用VS2013打开:
$hadoop-common-project\hadoop-common\src\main\winutils\winutils.sln
和
$hadoop-common-project\hadoop-common\src\main\native\native.sln
按提示升级。
B2.打开$hadoop-hdfs-project\hadoop-hdfs\pom.xml. 搜索 "Visual Studio 10 Win64", 改为 "Visual Studio 12 Win64"
B3.然后是构建过程如下:
B3.1 可以在开始菜单打开Developer Command Prompt for VS2013(中文版是"VS2013 开发人员命令提示"),命令行目录在C:\Program Files (x86)\Microsoft Visual Studio 12.0\Common7\Tools\Shortcuts, 用这个打开的命令行提示来编译。
B3.2 命令行里面执行批处理"vcvarsx86_amd64.bat",位置在"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin\x86_amd64",即:
"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin\x86_amd64\vcvarsx86_amd64.bat"
B3.3 切换到源代码目录,根据需要执行:
mvn install -DskipTests
或者
mvn package -Pdist,native-win -DskipTests -Dtar
---------------------------------------------------------
另外附上两个网址,如何在windows下运行hadoop,没有测试过,可以自行试验。
http://zutai.blogspot.com/2014/06/build-install-and-run-hadoop-24-240-on.html
http://stackoverflow.com/questions/18630019/running-apache-hadoop-2-1-0-on-windows
注意:如果没有进行B步骤的设置(windows 8或者windows 2012,visual studio 2013),会提示:
Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2:exec (compile-ms-winutils) on project hadoop-common: Command execution failed. Cannot run program "msbuild" (in directory "C:\hdfs\hadoop-common-project\hadoop-common")
详见:http://stackoverflow.com/questions/20592050/build-hadoop-2-2-on-windows
相关推荐
在Hadoop CDH的源码编译过程中,FindBugs起到了关键的角色。它能够帮助开发者在编译阶段发现潜在的问题,比如空指针异常、资源泄漏等,从而提高代码质量和可维护性。使用FindBugs进行源码检查,可以确保Hadoop CDH的...
本文将详细介绍如何在Win 7 64位操作系统上编译Hadoop 2.7.3的源码,并分享在这个过程中遇到的一些常见问题及解决方法。 #### 二、准备工作 为了能够在Win 7 64位系统上成功编译Hadoop 2.7.3,首先需要进行一系列的...
不过,通过使用预编译的bin包,用户可以直接在Windows上运行Hadoop的命令行工具,无需编译源代码。 3. **环境配置**:在Windows上部署Hadoop,需要设置环境变量,包括HADOOP_HOME、PATH等,确保系统能够找到Hadoop...
在系统环境变量中添加Hadoop源代码的路径到`PATH`,以便后续编译过程能找到相关文件。 3. 配置Hadoop: 进入Hadoop源代码目录,编辑`conf/build.xml`配置文件,根据你的系统环境修改相关设置,如编译目标平台、...
Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 ...
4. **编译源码**:在Cygwin环境中,导航到Hadoop源代码目录,运行`mvn clean install -DskipTests`命令进行编译。这将生成Hadoop的本地二进制文件,包括winutils.exe和hadoop.dll。 5. **配置环境变量**:将编译...
在Hadoop源码编译过程中,它用于提升代码质量和稳定性。解压`findbugs-2.0.3.tar.gz`,安装完成后将其路径添加至PATH环境变量,以便在构建Hadoop时运行FindBugs检查。 4. **Hadoop源码包** `hadoop-2.5.0-src.tar....
标题中的“Hadoop源码编译需要工具”指的是在本地环境中构建Hadoop源代码时所需的必备组件。Hadoop是一个开源的分布式计算框架,主要用于处理和存储海量数据。为了从源代码编译Hadoop,我们需要一些特定的开发工具和...
3. **Git**:Hadoop的源代码托管在GitHub上,所以你需要安装Git以便克隆源码仓库。 接下来,按照以下步骤进行源码编译: 1. **获取源码**:打开终端,使用`git clone`命令从Hadoop的官方仓库克隆源码: ``` git ...
在Windows 64位环境下编译Hadoop源代码是一项技术挑战,因为Hadoop最初是为Linux环境开发的。不过,通过一些特定的配置和工具,可以在Windows上成功构建Hadoop。以下是关于这个主题的详细知识: 1. **Hadoop简介**...
4. **编译环境配置**:根据Windows 10 64位环境,可能需要调整Hadoop源代码中的配置文件,例如`winutils.cc`等,以适应Windows的文件路径和系统调用。 5. **Visual Studio**:由于Hadoop的某些组件需要C++编译,...
总结,Hadoop 2.8.0在Windows上的安装涉及编译源代码以适应Windows环境,替换`bin`目录以使得脚本能够在Windows命令行中运行,以及正确配置Java环境和Hadoop的相关配置文件。这个过程需要一定的技术知识和耐心,但...
2. 打开命令行,进入Hadoop源代码根目录。 3. 运行`mvn clean package -DskipTests`命令。这将清理之前的构建,编译源代码,生成jar包,并跳过测试阶段(因为Windows环境可能不支持所有测试)。 4. 编译完成后,`...
《Hadoop 2.8.1在CentOS6.5上的源码编译详解》 Hadoop是一个开源的分布式计算框架,广泛应用于大数据处理领域。本文将深入探讨如何在CentOS 6.5操作系统上,从源代码编译Hadoop 2.8.1版本,以获取针对该系统的优化...
4. **编译源码**:在Cygwin环境下,使用`mvn clean install -Pdist,native-win`命令来编译源代码,这个过程会生成针对Windows的二进制文件。 5. **生成bin目录**:编译成功后,会在Hadoop源码的`target/native/dist...
标题中的"win10系统编译好的hadoop源码"指的是专门为Windows 10操作系统编译优化过的Hadoop源代码。这意味着该版本的Hadoop已经被配置为在Windows环境下运行,可能包括对Windows路径、文件系统API以及批处理命令的...
接下来,我们按照以下步骤进行Hadoop源码编译和安装: 1. **获取源码**:使用Git命令克隆Hadoop的源码仓库。例如,你可以运行`git clone https://github.com/apache/hadoop.git`来获取最新的源码。 2. **配置环境*...
官网荡下的源码,自己亲手编译的hadoop2.x 64位,给大家分享下 文件太大放的是百度网盘链接,目前有hadoop2.3.0,后面的版本我会陆续更新。