`
flashing
  • 浏览: 354636 次
  • 性别: Icon_minigender_1
  • 来自: 大连
社区版块
存档分类
最新评论

Hadoop源代码在Windows下面的编译

 
阅读更多

Updated 2015-02-24

本文可以作为Windows下编译Hadoop的参考。

 

首先可以看一下编译指南:https://svn.apache.org/repos/asf/hadoop/common/trunk/BUILDING.txt

 

主要是有几个软件必须得有,不是简单的mvn package就可以的,依赖包括:

0.JDK的JAVA_HOME和Maven的M2_HOME,这是基本配置;

1.因为有native code,所以要有msbuild,即visual studio 2010/2012/2013之一(2010还不能是Express的,似乎Express 2010的不支持64位编译)

Windows SDK和VS是二选一的。

2.protocolbuffer,下载并把exe路径加入path

3.make for win32,下载并把exe路径加入path

4.Cygwin

5.zlib headers

 

具体操作:

打开命令行到hadoop源代码路径,然后:

对于64位系统,设置

set Platform=x64

对于32位系统,设置

set Platform=Win32

 

设置ZLIB_HOME到你的路径,比如我的是

set ZLIB_HOME=D:\zlib-1.2.8

---------------------------------------------------------

A. 如果是Visual Studio 10(VS 2010),那么下面可以直接执行

mvn package -Pdist,native-win -DskipTests -Dtar

 

经过漫长的等待,应该可以成功的打包出来

e:\temp\hdp\hadoop-dist\target\hadoop-x.y.z.tar.gz (x.y.z是版本号,可以是2.6.0或者3.0.0等)

---------------------------------------------------------

B. 如果是Visual Studio 12(VS 2013),那么需要进一步的设置,引用自:

http://zutai.blogspot.com/2014/06/build-install-and-run-hadoop-24-240-on.html?showComment=1422091525887#c2264594416650430988

(注意可以使用Visual Studio Express 2013)

 

B1. 首先把Visual Studio 项目 native.vcxproj, libwinutils.vcxproj and winutils.vcxproj 从 VS2010 升级到 VS2013,具体是用VS2013打开:

$hadoop-common-project\hadoop-common\src\main\winutils\winutils.sln

$hadoop-common-project\hadoop-common\src\main\native\native.sln

按提示升级。

 

B2.打开$hadoop-hdfs-project\hadoop-hdfs\pom.xml. 搜索 "Visual Studio 10 Win64", 改为 "Visual Studio 12 Win64"

 

B3.然后是构建过程如下:

B3.1 可以在开始菜单打开Developer Command Prompt for VS2013(中文版是"VS2013 开发人员命令提示"),命令行目录在C:\Program Files (x86)\Microsoft Visual Studio 12.0\Common7\Tools\Shortcuts, 用这个打开的命令行提示来编译。

 

B3.2 命令行里面执行批处理"vcvarsx86_amd64.bat",位置在"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin\x86_amd64",即:

"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin\x86_amd64\vcvarsx86_amd64.bat"

 

B3.3 切换到源代码目录,根据需要执行:

mvn install -DskipTests

或者

mvn package -Pdist,native-win -DskipTests -Dtar

 

---------------------------------------------------------

 

另外附上两个网址,如何在windows下运行hadoop,没有测试过,可以自行试验。

http://zutai.blogspot.com/2014/06/build-install-and-run-hadoop-24-240-on.html

http://stackoverflow.com/questions/18630019/running-apache-hadoop-2-1-0-on-windows

 

注意:如果没有进行B步骤的设置(windows 8或者windows 2012,visual studio 2013),会提示:

Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2:exec (compile-ms-winutils) on project hadoop-common: Command execution failed. Cannot run program "msbuild" (in directory "C:\hdfs\hadoop-common-project\hadoop-common")

详见:http://stackoverflow.com/questions/20592050/build-hadoop-2-2-on-windows

 

0
0
分享到:
评论

相关推荐

    Hadoop 源码编译所需软件

    在Hadoop CDH的源码编译过程中,FindBugs起到了关键的角色。它能够帮助开发者在编译阶段发现潜在的问题,比如空指针异常、资源泄漏等,从而提高代码质量和可维护性。使用FindBugs进行源码检查,可以确保Hadoop CDH的...

    win 7 64上编译 Hadoop 2.7.3 源码

    本文将详细介绍如何在Win 7 64位操作系统上编译Hadoop 2.7.3的源码,并分享在这个过程中遇到的一些常见问题及解决方法。 #### 二、准备工作 为了能够在Win 7 64位系统上成功编译Hadoop 2.7.3,首先需要进行一系列的...

    Hadoop 2.7.4 Windows 64位 编译bin

    不过,通过使用预编译的bin包,用户可以直接在Windows上运行Hadoop的命令行工具,无需编译源代码。 3. **环境配置**:在Windows上部署Hadoop,需要设置环境变量,包括HADOOP_HOME、PATH等,确保系统能够找到Hadoop...

    hadoop在window10下编译编译好的安装包,亲测100%可用

    在系统环境变量中添加Hadoop源代码的路径到`PATH`,以便后续编译过程能找到相关文件。 3. 配置Hadoop: 进入Hadoop源代码目录,编辑`conf/build.xml`配置文件,根据你的系统环境修改相关设置,如编译目标平台、...

    Hadoop-2.7.2源码及编译jar包.zip

    Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 ...

    Hadoop 2.7.4 Windows 7 64位 编译bin(包含winutils.exe, hadoop.dll等)

    4. **编译源码**:在Cygwin环境中,导航到Hadoop源代码目录,运行`mvn clean install -DskipTests`命令进行编译。这将生成Hadoop的本地二进制文件,包括winutils.exe和hadoop.dll。 5. **配置环境变量**:将编译...

    hadoop源码编译所需软件包

    在Hadoop源码编译过程中,它用于提升代码质量和稳定性。解压`findbugs-2.0.3.tar.gz`,安装完成后将其路径添加至PATH环境变量,以便在构建Hadoop时运行FindBugs检查。 4. **Hadoop源码包** `hadoop-2.5.0-src.tar....

    Hadoop源码编译需要工具

    标题中的“Hadoop源码编译需要工具”指的是在本地环境中构建Hadoop源代码时所需的必备组件。Hadoop是一个开源的分布式计算框架,主要用于处理和存储海量数据。为了从源代码编译Hadoop,我们需要一些特定的开发工具和...

    Hadoop源码编译 PDF 下载

    3. **Git**:Hadoop的源代码托管在GitHub上,所以你需要安装Git以便克隆源码仓库。 接下来,按照以下步骤进行源码编译: 1. **获取源码**:打开终端,使用`git clone`命令从Hadoop的官方仓库克隆源码: ``` git ...

    hadoop 2.6 Windows64位 编译版本

    在Windows 64位环境下编译Hadoop源代码是一项技术挑战,因为Hadoop最初是为Linux环境开发的。不过,通过一些特定的配置和工具,可以在Windows上成功构建Hadoop。以下是关于这个主题的详细知识: 1. **Hadoop简介**...

    windows10 64位编译hadoop2.6.4的bin

    4. **编译环境配置**:根据Windows 10 64位环境,可能需要调整Hadoop源代码中的配置文件,例如`winutils.cc`等,以适应Windows的文件路径和系统调用。 5. **Visual Studio**:由于Hadoop的某些组件需要C++编译,...

    hadoop 2.8.0在windows上编译成功的bin目录

    总结,Hadoop 2.8.0在Windows上的安装涉及编译源代码以适应Windows环境,替换`bin`目录以使得脚本能够在Windows命令行中运行,以及正确配置Java环境和Hadoop的相关配置文件。这个过程需要一定的技术知识和耐心,但...

    hadoop 2.7.4 windows 7 64位 编译bin

    2. 打开命令行,进入Hadoop源代码根目录。 3. 运行`mvn clean package -DskipTests`命令。这将清理之前的构建,编译源代码,生成jar包,并跳过测试阶段(因为Windows环境可能不支持所有测试)。 4. 编译完成后,`...

    hadoop-2.8.1 CentOS6.5编译的源码

    《Hadoop 2.8.1在CentOS6.5上的源码编译详解》 Hadoop是一个开源的分布式计算框架,广泛应用于大数据处理领域。本文将深入探讨如何在CentOS 6.5操作系统上,从源代码编译Hadoop 2.8.1版本,以获取针对该系统的优化...

    Hadoop 2.7.5 Windows 7 64位 编译bin(包含winutils.exe, hadoop.dll等)

    4. **编译源码**:在Cygwin环境下,使用`mvn clean install -Pdist,native-win`命令来编译源代码,这个过程会生成针对Windows的二进制文件。 5. **生成bin目录**:编译成功后,会在Hadoop源码的`target/native/dist...

    win10系统编译好的hadoop源码

    标题中的"win10系统编译好的hadoop源码"指的是专门为Windows 10操作系统编译优化过的Hadoop源代码。这意味着该版本的Hadoop已经被配置为在Windows环境下运行,可能包括对Windows路径、文件系统API以及批处理命令的...

    hadoop源码编译安装包及安装步骤

    接下来,我们按照以下步骤进行Hadoop源码编译和安装: 1. **获取源码**:使用Git命令克隆Hadoop的源码仓库。例如,你可以运行`git clone https://github.com/apache/hadoop.git`来获取最新的源码。 2. **配置环境*...

    官网荡下的源码,自己亲手编译的hadoop2.3.0 64位,给大家分享下

    官网荡下的源码,自己亲手编译的hadoop2.x 64位,给大家分享下 文件太大放的是百度网盘链接,目前有hadoop2.3.0,后面的版本我会陆续更新。

Global site tag (gtag.js) - Google Analytics