`

64位操作系统下 maven编译hadoop-2.2.0 源码

 
阅读更多
启动start-dfs.sh出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
出现原因:hadoop本地库只有32位 在64位机子上会出现上述问题

解决方法
官方提供的本地库只有32位的,所以需要我们在64位系统 重新编译源码从而得到64位的本地库
操作系统  Centos 6.5
编译 的时候需要 linux  需要联网  ,因为maven  需要下载 hadoop  依赖包
安装 jdk  1.6  以上 

安装  maven  3.0
设置  maven 环境变量  (验证   mvn -version)。
   执行 yum install gcc
   执行  yum  install gcc-c++
      执行 yum install make
解压  protobuf 2.5.0
cd 解压的目录下
执行  ./configure
  执行  make
  执行  make install
安装cmake
yum install cmake
yum install openssl-devel
yum install ncurses-devel
下载  hadoop 源码 hadoop-2.2.0-src.tar.gz 解压文件
修改hadoop/hadoop-common-project/hadoop-auth/pom.xml文件
<!--新增的内容开始 -->
<dependency>
       <groupId>org.mortbay.jetty</groupId>
     <artifactId>jetty-util</artifactId>
     <scope>test</scope>
   </dependency>
<!--新增的内容结束 -->
   <dependency>
    <groupId>org.mortbay.jetty</groupId>
       <artifactId>jetty</artifactId>
       <scope>test</scope>
     </dependency>
在hadoop  解压目录下执行
mvn package -Pdist,native -DskipTests -Dtar

开始编译 hadoop  源码
编译 后 的 源码 就在  target  目录中 的  hadoop-2.2.0  文件夹中 


  • 大小: 248.3 KB
分享到:
评论

相关推荐

    Hadoop-2.2.0源码包

    Hadoop-2.2.0源码包是一个关键资源,对于深入理解Hadoop框架的运行机制、进行二次开发或在Eclipse环境中调试Hadoop项目至关重要。这个版本的Hadoop源码包含了所有相关的Java源文件、配置文件以及构建脚本,为开发者...

    hadoop-2.2.0编译安装

    - 操作系统:Linux CentOS 6.5 64位 - Java开发环境:JDK 1.7.0_79 - 注意,Hadoop依赖于特定版本的JDK,确保正确安装。 2. **下载源码**: - 从Apache官网获取Hadoop-2.2.0的源码包:...

    hadoop2.2.0-linux-64bit安装包和源码包

    根据提供的文件标题、描述、标签以及部分内容,我们可以推断出这份文档主要涉及Hadoop 2.2.0版本在Linux 64位系统上的安装包和源码包的相关信息。以下将详细介绍与这些关键词相关的重要知识点。 ### Hadoop 2.2.0 ...

    hadoop-commin-2.2.zip

    本文将深入探讨Hadoop Common 2.2.0版本在Windows操作系统上的编译过程及其核心组件,旨在为读者提供详尽的实践指导。 Hadoop Common是Hadoop生态系统的基础模块,包含了Hadoop项目所需的各种通用工具和库,如网络...

    Spark编译与部署(中)--Hadoop编译安装

    在64位操作系统上安装Hadoop时,可能会遇到编译位数不匹配的问题。通常情况下,这是由于缺少64位支持库导致的。可以通过安装`glibc-devel.i686`来解决该问题: ```bash yum install glibc-devel.i686 ``` ##### ...

    ubuntu12.04上hadoop2编译64位

    在Ubuntu 12.04系统中,如果你需要将32位的Hadoop 2.2.0编译成64位,以下是一份详细的步骤指南。首先,确保你的系统支持64位编译,并且你已经具备了必要的权限。 1. **安装GCC**: 在编译任何软件之前,你需要安装...

    hadoop2.x编译实例

    ### Hadoop 2.x 编译实例详解 ...编译完成后,会在 `/usr/local/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0` 目录下生成编译好的 Hadoop 包。 至此,Hadoop 2.2.0 的源码编译过程全部完成。

    Hadoop2完全分布式集群搭建

    * 编译Hadoop-2.2.0源码 * 配置节点文件slaves * 配置Hadoop的core-site.xml文件 * 配置Hadoop的hdfs-site.xml文件 5. Hadoop集群配置 在搭建Hadoop2完全分布式集群时,需要配置以下文件: * core-site.xml:配置...

    java7源码-Compile-Hadoop2.2.0-on-MacOS:也许是第一个(或最笨的)在MacOSMojave上编译Hadoop的

    而这次Hadoop在Mac上的安装费尽周折,并且遇到网上没有先例的问题(由于编译版本不同)、包括Hadoop2.2.0源码中的许多bug。 在此将我的安装过程记录下来,或许对后人有用。 环境: MacOS-10.14, java-1.7.0_80, cmake...

    kettle5.3连接hdfs、hbase、kettle5.2源码编译

    在 Linux 系统下编译 Kettle 5.2 源码,通常需要遵循以下步骤: 1. 确保安装了必要的依赖,如 Maven、Java 开发工具(JDK)、Git 等。 2. 克隆 Kettle 5.2 的源代码仓库。 3. 使用 Maven 进行编译,通常会执行 `mvn...

    Spark+Hadoop+IDE环境搭建

    1. **下载Spark**:从Apache官网下载Spark源码或预编译版本,确保与Hadoop版本兼容。 2. **配置环境变量**:设置SPARK_HOME,并在PATH中添加Spark的bin目录。 3. **配置spark-env.sh**:在SPARK_HOME/conf目录下,...

    大数据技术之CM6.3.1+CDH6.3.2 集成 Atlas2.2.0.pdf

    7. 部署Atlas2.2.0的步骤: 部署Atlas2.2.0需要下载源码包,解压缩,修改pom.xml文件,编译和安装Atlas2.2.0。 8. 大数据技术的应用: 大数据技术的应用包括数据存储、数据处理、数据分析和数据 Visualization等。...

    ATLAS集成与部署.doc

    - 编译 Atlas 源码过程中可能会遇到 npm 缺失的问题,需要额外安装 Node.js 和 npm。 3. **Node.js 和 npm 安装** - 下载 Node.js v13.11.0 版本,解压并进行安装。 - 添加 Node.js 和 npm 的软链接至系统路径。...

Global site tag (gtag.js) - Google Analytics