CentOS下编译hadoop源码

0.首先下载hadoop-2.5.2源码包

下载地址：http://hadoop.apache.org/releases.html

 

 

 

2.解压

tar zxvf hadoop-2.5.2-src.tar.gz 

 

3.解压完之后，我们开始准备编译所需要的软件

安装apache-maven

3.1.在安装hadoop-2.5.2时，wget命令不一定能够使用，需要安装wget工具才行。

如果配置的yum源，我们可以这样安装wget工具。如下：

配置yum源：http://mirrors.163.com/.help/centos.html

安装wget工具：yum -y install wget

 

3.2.安装maven（建议手动下载安装，如果网络不好，使用如下方式很容易失败。）

wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

 

yum -y install apache-maven

 

3.3.tzdata-java-2015g-2.el6.noarch.rpm 源不能使用，安装失败。

http://mirrors.ustc.edu.cn/centos/6/updates/i386/Packages/tzdata-java-2015g-2.el6.noarch.rpm: [Errno -1] Package does not match intended download. Suggestion: run yum --enablerepo=updates clean metadata

解决方法：使用http://mirrors.ustc.edu.cn/centos/6/updates/i386/Packages/tzdata-java-2015g-2.el6.noarch.rpm 可以手动下载tzdata-java-2015g-2.el6.noarch.rpm，然后使用命令安装。

这时候再次执行yum -y install apache-maven命令

 

 

4.安装ProtocolBuffer

下载地址：http://vdisk.weibo.com/s/BICjq6gk87iV5

下载完后手动安装

 

 

5.使用yum命令安装的软件，默认是安装在那个目录下面的

eg:查找apache-maven的安装目录，可以使用find / -name apache-maven* -type d

 

6.linux中查找文件夹

find / -name apache-maven* -type d  (查找目录：find /（查找范围） -name '查找关键字' -type d。)

7.如何查看linux命令的用法

 

8.在进行编译之前，先修改maven安装目录下conf/settings.xml(因为maven使用的reposity，国内有时无法访问，修改为可用的镜像即可)，<mirrors></mirros>里添加，其他的不需改动,具体修改如下：

<mirror>

        <id>nexus-osc</id>

         <mirrorOf>*</mirrorOf>

     <name>Nexusosc</name>

     <url>http://maven.oschina.net/content/groups/public/</url>

   </mirror>

 

9.linux下配置域名

/etc/hosts

 

10.使用virtualBox时，复制的虚拟机的主机名都一样，修改主机名

/etc/sysconfig/network

 

11.hadoop-aboutyun-linux64-2.5.2.tar.gz  下载地址

链接：http://pan.baidu.com/s/1bnH94xp 密码：3fp5

 

12.启动zookeeper后，才能格式化ZKFC，否则会报错。

13.注册About云时 看不到验证码图片，可以查看网页源码来看

 

14.Unable to load native-hadoop library for your platform... using builtin-java classes where applicable，如下图：

Hadoop本地库与系统版本不一致引起的错误解决方法

参考：http://www.linuxidc.com/Linux/2012-04/59200.htm

wget  http://ftp.gnu.org/gnu/glibc/glibc-2.19.tar.bz2

 

wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2

 

解压
$tar -jxvf glibc-2.19.tar.bz2
$cd glibc-2.19
$tar -jxvf ../glibc-linuxthreads-2.5.tar.bz2
$cd ..
$export CFLAGS="-g -O2"
$./glibc-2.19/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
$make
#make install

 

注意：虽然提示使用GLIBC_2.14，但是安装可能会报错。建议使用GLIBC_2.19

 

 

15.wget下载的东西在哪个目录呢？在当前目录下面

17 ./configure,make,make install的作用?

 

最终编译失败，长城的网络不给力。如果网络给力，很容易编译成功。。。。

如果网络不好的童鞋可以下载别人已经编译好的64位的hadoop安装包：hadoop-aboutyun-linux64-2.5.2.tar.gz 

 

 

 

maven库：http://maven.net.cn/content/groups/public/

http://cwiki.apache.org

 

参考：http://www.iteblog.com/archives/897

参考：http://www.csdn123.com/html/topnews201408/84/1984.htm

Maven settings配置中的mirrorOf：http://blog.csdn.net/isea533/article/details/21560089

桥接：http://wenku.baidu.com/link?url=eBCnoOeSJaM6-LLXZofAFL0odFLNgWRxNkGBi8X70xe422kgC2cKESnccnbEss3Ph4UAYP20yxwpl_tLZXwLIG19RqOXZuqJUszGFxafZZu