`

编译安装hadoop2.6

 
阅读更多

准备:

1.安装gcc

yum install gcc

yum install gcc-c++

2.安装jdk(注意必须jdk,jre不行)

3.ProtocolBuffer 2.5.0

wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.bz2

tar jxvf protobuf-2.5.0.tar.bz2

cd protobuf-2.5.0.tar.bz2

./configure --prefix=/usr/local/protobuf-2.5.0

make

make install

配置环境变量

export PATH=$PATH:/usr/local/protobuf-2.5.0/bin/
export PKG_CONFIG_PATH=/usr/local/protobuf-2.5.0/lib/pkgconfig/

source /etc/profile

检验是否安装成功:

protoc –version

4. Maven

yum install maven

环境变量:

export MAVEN_HOME=/usr/local/apache-maven-3.2.5

source /etc/profile

检验是否安装成功:

mvn -version

5.CMake

yum install ncurses-devel

yum install openssl-devel

(不装上面这两个编译时pipe会过不去)

yum install cmake

6.Autotools

(如果编译 native code需要)

sudo yum install autoconf automake libtool

7.Forrest

(Apache Forrest是一个平台独立的文档框架。把来自各种不同的输入数据源转换成用一种或多种输出格式(比如HTML,PDF等)来统一显示的发布系统。它基 于Apache Cocoon并分离了内容与内容结构,不仅可以生成静态的文档也可以当作一个动态的服务器。如果要生成文档则需要。)

wget mirrors.cnnic.cn/apache//forrest/apache-forrest-0.9-sources.tar.gz

wget mirrors.cnnic.cn/apache//forrest/apache-forrest-0.9-dependencies.tar.gz

解压apache-forrest-0.9-sources.tar.gz

tar -zxvf apache-forrest-0.9-sources.tar.gz

解压apache-forrest-0.9-dependencies.tar.gz到forrest

tar -zxvf apache-forrest-0.9-dependencies.tar.gz

 

cd /usr/local/apache-forrest-0.9/main

./build

配置环境变量

export FORREST_HOME=/usr/local/apache-forrest-0.9
export PATH=$PATH:$FORREST_HOME/bin

 

8. ant

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:
[ERROR] around Ant part ...<exec dir="/home/hadoop/hadoop-2.6.0-src/hadoop-commo-src/hadoop-common-project/hadoop-common/target/antrun/build-main.xml

安装ant

wget archive.apache.org/dist/ant/binaries/apache-ant-1.9.4-bin.tar.gz

解压到/usr/local/

tar -zvxf apache-ant-1.9.4-bin.tar.gz

注意:备份 /etc/ant.conf

卸掉系统里的ant yum remove ant,卸掉之后conf文件也会消失

 

ant -version
Apache Ant(TM) version 1.9.4 compiled on April 29 2014

若出现这样的错误:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/tools/ant/launch/Launcher
这是系统中路径不对, 改/etc/ant.conf中ANT_HOME=/usr/share/ant 为你正确安装ant地址,如:

的地址,如ANT_HOME=/usr/local/apache-ant-1.9.4

 

9.安装findbugs

wget http://sourceforge.net/projects/findbugs/files/findbugs/3.0.0/findbugs-3.0.0.tar.gz/download?use_mirror=hivelocity&download=

wget http://sourceforge.net/projects/findbugs/files/findbugs/3.0.0/findbugs-noUpdateChecks-3.0.0.tar.gz/download?use_mirror=superb-dca3&download=

 

tar -zvxf findbugs-3.0.0.tar.gz

tar -zxvf findbugs-noUpdateChecks-3.0.0.tar.gz

 

配置环境变量

export FINDBUGS_HOME=/usr/local/findbugs-2.0.3
export PATH=$PATH:$FINDBUGS_HOME/bin 

检验:

 

findbugs -version

3.0.0

 

10.

下载编译hadoop

wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0-src.tar.gz

tar -zxvf hadoop-2.6.0-src.tar.gz

cd hadoop-2.6.0-src

mvn package -Pdist,native,docs -DskipTests -Dtar -e

 

编译后路径:

/home/hadoop/hadoop-2.6.0-src/hadoop-dist/target/hadoop-2.6.0.tar.gz

 

 

 

分享到:
评论

相关推荐

    spark-2.4.0-bin-hadoop2.6.tgz

    这里我们讨论的是Spark的2.4.0版本,与Hadoop 2.6版本集成的预编译二进制包"spark-2.4.0-bin-hadoop2.6.tgz",这主要用于在Linux环境中安装和运行Spark。 1. **Spark核心概念**:Spark的核心组件是弹性分布式数据集...

    hadoop 2.6 Windows64位 编译版本

    在Windows 64位环境下编译Hadoop源代码是一项技术挑战,因为Hadoop最初是为Linux环境开发的。不过,通过一些特定的配置和工具,可以在Windows上成功构建Hadoop。以下是关于这个主题的详细知识: 1. **Hadoop简介**...

    spark-1.6.3-bin-hadoop2.6.tgz

    总的来说,"spark-1.6.3-bin-hadoop2.6.tgz"这个压缩包包含了一个完整的Spark 1.6.3发行版,预编译为与Hadoop 2.6兼容。安装这个版本的Spark,用户可以利用其强大的数据处理能力和与Hadoop的紧密集成,进行大规模...

    hadoop2.6-common-bin.zip

    标题 "hadoop2.6-common-bin.zip" 指示这是一个包含Hadoop 2.6版本通用二进制文件的压缩包。这个压缩包主要针对Windows用户,旨在解决在该操作系统上运行Hadoop时可能遇到的"Could not locate executable"错误。这个...

    hadoop2.6 dll

    标题 "hadoop2.6 dll" 指的是在Windows操作系统上配置Spark 1.6与Hadoop 2.6集成时所涉及的关键组件,尤其是Hadoop相关动态链接库(DLL)文件。这个环境通常用于大数据处理,允许Spark运行在Hadoop的分布式计算框架...

    hadoop2.6,window7 64bit,hadoop.dll、winutils.exe文件下载

    Hadoop 2.6是Hadoop的一个重要版本,它包含了多项改进和优化,以提高性能和稳定性。在Windows 7 64位操作系统上配置和运行Hadoop可能会遇到一些挑战,因为Hadoop最初是为Linux设计的。不过,通过一些特定的工具和...

    spark-2.3.3-bin-hadoop2.6.tgz

    "spark-2.3.3-bin-hadoop2.6.tgz" 是Spark 2.3.3版本预编译的二进制包,针对Hadoop 2.6版本进行了优化。这个压缩包包含了运行Spark所需的所有组件和依赖库,使得用户可以在本地或者集群环境中快速部署和使用Spark。 ...

    windows8 vs2012 编译的64位hadoop2.6 part3

    在windows8系统,用vs2012编译的hadoop2.6,可以直接使用,共4个部分

    spark-2.2.0-bin-hadoop2.6.tgz

    Hadoop2.6是Hadoop生态系统中的一个版本,它为分布式存储和计算提供了基础支持。`spark-2.2.0-bin-hadoop2.6.tgz`是一个压缩包,包含了Spark 2.2.0在YARN(Hadoop Yet Another Resource Negotiator)模式下运行所需...

    windows8 vs2012 编译的64位hadoop2.6 part2

    在windows8系统,用vs2012编译的hadoop2.6,可以直接使用,共4个部分

    windows8 vs2012 编译的64位hadoop2.6 part1

    在windows8系统,用vs2012编译的hadoop2.6,可以直接使用,共4个部分,其它3个部分都不用积分

    windows-x64平台的hadoop2.6插件

    64位系统安装时编译的,基于hadoop2.6源码。含 hadoop.dll、 hadoop.pdb、 hadoop.lib 、hadoop.exp 、winutils.exe 、winutils.pdb、 libwinutils.lib。

    windows8 vs2012 编译的64位hadoop2.6 part4

    在windows8系统,用vs2012编译的hadoop2.6,可以直接使用,共4个部分

    hadoop2.6集群配置

    若官方提供的Hadoop包是针对32位系统编译的,则需要在64位系统中重新编译或寻找适用于64位系统的版本。 ##### 2.3 修改配置 - **`hadoop-env.sh`**:配置JDK路径以及其他必要的环境变量。 - **`core-site.xml`**:...

    hadoop 2.6 64位

    hadoop-2.6.0 大数据框架的64位编译。我自己已经编译出来了,并且通过了测试。因为,考虑到其他的人也会遇到这种情况。所以希望对大家有帮组。

    hadoop 2.6 native snappy

    在Hadoop 2.6版本中,集成Native Snappy需要进行编译,这个过程可能比较耗时,因为涉及到多个步骤,包括获取源代码、配置编译环境、解决依赖关系、编译源码以及安装生成的库文件。这个压缩包文件“native”可能包含...

    hadoop2.6-api.zip

    这个压缩包“hadoop2.6-api.zip”包含了Hadoop 2.6版本的核心API,使得开发者可以直接进行开发工作而无需从源码编译整个Hadoop项目。 Hadoop是Apache软件基金会的一个开源项目,它的主要目标是实现大规模数据处理的...

    Linux环境Hadoop2.6+Hbase1.2集群安装部署

    在构建大数据处理环境时,Linux环境下的Hadoop2.6+Hbase1.2集群安装部署是基础步骤,而Spark分布式集群的搭建则是提升数据处理效率的关键。这些技术的组合使用,可以为大规模数据处理提供高效、可靠的解决方案。 ...

    hadoop2.6,window7 64bit,hadoop.dll

    标题中的"hadoop2.6,window7 64bit,hadoop.dll"提示我们关注的是在Windows系统上安装Hadoop 2.6.0的过程,特别是64位版本。在Windows上运行Hadoop通常比在Linux环境下复杂,因为Hadoop最初是为Linux设计的。...

    spark-1.6.2-bin-hadoop2.6.gz

    "spark-1.6.2-bin-hadoop2.6.gz" 是一个压缩包,包含了预编译的Spark 1.6.2版本,已经配置好与Hadoop 2.6兼容。这个压缩包通常用于大数据开发环境的快速搭建,避免了开发者需要从源代码编译整个Spark和Hadoop的复杂...

Global site tag (gtag.js) - Google Analytics