准备:
1.安装gcc
yum install gcc
yum install gcc-c++
2.安装jdk(注意必须jdk,jre不行)
3.ProtocolBuffer 2.5.0
wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.bz2
tar jxvf protobuf-2.5.0.tar.bz2
cd protobuf-2.5.0.tar.bz2
./configure --prefix=/usr/local/protobuf-2.5.0
make
make install
配置环境变量
export PATH=$PATH:/usr/local/protobuf-2.5.0/bin/
export PKG_CONFIG_PATH=/usr/local/protobuf-2.5.0/lib/pkgconfig/
source /etc/profile
检验是否安装成功:
protoc –version
4. Maven
yum install maven
环境变量:
export MAVEN_HOME=/usr/local/apache-maven-3.2.5
source /etc/profile
检验是否安装成功:
mvn -version
5.CMake
yum install ncurses-devel
yum install openssl-devel
(不装上面这两个编译时pipe会过不去)
yum install cmake
6.Autotools
(如果编译 native code需要)
sudo yum install autoconf automake libtool
7.Forrest
(Apache Forrest是一个平台独立的文档框架。把来自各种不同的输入数据源转换成用一种或多种输出格式(比如HTML,PDF等)来统一显示的发布系统。它基 于Apache Cocoon并分离了内容与内容结构,不仅可以生成静态的文档也可以当作一个动态的服务器。如果要生成文档则需要。)
wget mirrors.cnnic.cn/apache//forrest/apache-forrest-0.9-sources.tar.gz
wget mirrors.cnnic.cn/apache//forrest/apache-forrest-0.9-dependencies.tar.gz
解压apache-forrest-0.9-sources.tar.gz
tar -zxvf apache-forrest-0.9-sources.tar.gz
解压apache-forrest-0.9-dependencies.tar.gz到forrest
tar -zxvf apache-forrest-0.9-dependencies.tar.gz
cd /usr/local/apache-forrest-0.9/main
./build
配置环境变量
export FORREST_HOME=/usr/local/apache-forrest-0.9
export PATH=$PATH:$FORREST_HOME/bin
8. ant
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:
[ERROR] around Ant part ...<exec dir="/home/hadoop/hadoop-2.6.0-src/hadoop-commo-src/hadoop-common-project/hadoop-common/target/antrun/build-main.xml
安装ant
wget archive.apache.org/dist/ant/binaries/apache-ant-1.9.4-bin.tar.gz
解压到/usr/local/
tar -zvxf apache-ant-1.9.4-bin.tar.gz
注意:备份 /etc/ant.conf
卸掉系统里的ant yum remove ant,卸掉之后conf文件也会消失
ant -version
Apache Ant(TM) version 1.9.4 compiled on April 29 2014
若出现这样的错误:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/tools/ant/launch/Launcher
这是系统中路径不对, 改/etc/ant.conf中ANT_HOME=/usr/share/ant 为你正确安装ant地址,如:
的地址,如ANT_HOME=/usr/local/apache-ant-1.9.4
9.安装findbugs
wget http://sourceforge.net/projects/findbugs/files/findbugs/3.0.0/findbugs-3.0.0.tar.gz/download?use_mirror=hivelocity&download=
wget http://sourceforge.net/projects/findbugs/files/findbugs/3.0.0/findbugs-noUpdateChecks-3.0.0.tar.gz/download?use_mirror=superb-dca3&download=
tar -zvxf findbugs-3.0.0.tar.gz
tar -zxvf findbugs-noUpdateChecks-3.0.0.tar.gz
配置环境变量
export FINDBUGS_HOME=/usr/local/findbugs-2.0.3
export PATH=$PATH:$FINDBUGS_HOME/bin
检验:
findbugs -version
3.0.0
10.
下载编译hadoop
wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0-src.tar.gz
tar -zxvf hadoop-2.6.0-src.tar.gz
cd hadoop-2.6.0-src
mvn package -Pdist,native,docs -DskipTests -Dtar -e
编译后路径:
/home/hadoop/hadoop-2.6.0-src/hadoop-dist/target/hadoop-2.6.0.tar.gz
相关推荐
这里我们讨论的是Spark的2.4.0版本,与Hadoop 2.6版本集成的预编译二进制包"spark-2.4.0-bin-hadoop2.6.tgz",这主要用于在Linux环境中安装和运行Spark。 1. **Spark核心概念**:Spark的核心组件是弹性分布式数据集...
在Windows 64位环境下编译Hadoop源代码是一项技术挑战,因为Hadoop最初是为Linux环境开发的。不过,通过一些特定的配置和工具,可以在Windows上成功构建Hadoop。以下是关于这个主题的详细知识: 1. **Hadoop简介**...
总的来说,"spark-1.6.3-bin-hadoop2.6.tgz"这个压缩包包含了一个完整的Spark 1.6.3发行版,预编译为与Hadoop 2.6兼容。安装这个版本的Spark,用户可以利用其强大的数据处理能力和与Hadoop的紧密集成,进行大规模...
标题 "hadoop2.6-common-bin.zip" 指示这是一个包含Hadoop 2.6版本通用二进制文件的压缩包。这个压缩包主要针对Windows用户,旨在解决在该操作系统上运行Hadoop时可能遇到的"Could not locate executable"错误。这个...
标题 "hadoop2.6 dll" 指的是在Windows操作系统上配置Spark 1.6与Hadoop 2.6集成时所涉及的关键组件,尤其是Hadoop相关动态链接库(DLL)文件。这个环境通常用于大数据处理,允许Spark运行在Hadoop的分布式计算框架...
"spark-2.3.3-bin-hadoop2.6.tgz" 是Spark 2.3.3版本预编译的二进制包,针对Hadoop 2.6版本进行了优化。这个压缩包包含了运行Spark所需的所有组件和依赖库,使得用户可以在本地或者集群环境中快速部署和使用Spark。 ...
在windows8系统,用vs2012编译的hadoop2.6,可以直接使用,共4个部分
Hadoop2.6是Hadoop生态系统中的一个版本,它为分布式存储和计算提供了基础支持。`spark-2.2.0-bin-hadoop2.6.tgz`是一个压缩包,包含了Spark 2.2.0在YARN(Hadoop Yet Another Resource Negotiator)模式下运行所需...
在windows8系统,用vs2012编译的hadoop2.6,可以直接使用,共4个部分
内容概要:该文档详细介绍了一步一步地在 CentOs 6 平台上编译安装配置 Hadoop 2.6 的详细步骤,涵盖从编译、安装到运行的全过程指导,并附有问题排查方法及简单例子演示流程。 适合人群:从事大数据领域的IT工作者...
在windows8系统,用vs2012编译的hadoop2.6,可以直接使用,共4个部分,其它3个部分都不用积分
64位系统安装时编译的,基于hadoop2.6源码。含 hadoop.dll、 hadoop.pdb、 hadoop.lib 、hadoop.exp 、winutils.exe 、winutils.pdb、 libwinutils.lib。
在windows8系统,用vs2012编译的hadoop2.6,可以直接使用,共4个部分
若官方提供的Hadoop包是针对32位系统编译的,则需要在64位系统中重新编译或寻找适用于64位系统的版本。 ##### 2.3 修改配置 - **`hadoop-env.sh`**:配置JDK路径以及其他必要的环境变量。 - **`core-site.xml`**:...
hadoop-2.6.0 大数据框架的64位编译。我自己已经编译出来了,并且通过了测试。因为,考虑到其他的人也会遇到这种情况。所以希望对大家有帮组。
在Hadoop 2.6版本中,集成Native Snappy需要进行编译,这个过程可能比较耗时,因为涉及到多个步骤,包括获取源代码、配置编译环境、解决依赖关系、编译源码以及安装生成的库文件。这个压缩包文件“native”可能包含...
这个压缩包“hadoop2.6-api.zip”包含了Hadoop 2.6版本的核心API,使得开发者可以直接进行开发工作而无需从源码编译整个Hadoop项目。 Hadoop是Apache软件基金会的一个开源项目,它的主要目标是实现大规模数据处理的...
在构建大数据处理环境时,Linux环境下的Hadoop2.6+Hbase1.2集群安装部署是基础步骤,而Spark分布式集群的搭建则是提升数据处理效率的关键。这些技术的组合使用,可以为大规模数据处理提供高效、可靠的解决方案。 ...
标题中的"hadoop2.6,window7 64bit,hadoop.dll"提示我们关注的是在Windows系统上安装Hadoop 2.6.0的过程,特别是64位版本。在Windows上运行Hadoop通常比在Linux环境下复杂,因为Hadoop最初是为Linux设计的。...
"spark-1.6.2-bin-hadoop2.6.gz" 是一个压缩包,包含了预编译的Spark 1.6.2版本,已经配置好与Hadoop 2.6兼容。这个压缩包通常用于大数据开发环境的快速搭建,避免了开发者需要从源代码编译整个Spark和Hadoop的复杂...