`
sunwinner
  • 浏览: 204289 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

记录一下Hadoop在Mac OS Mountain Lion上安装NativeLibrary失败的经历

 
阅读更多

先声明一下,本人并未安装成功,所以寻找在Mac OS 上安装Hadoop native library解决方案的就直接略过本文,免得浪费时间。

 

环境:

  • Hadoop 1.1.1 stable with source code
  • Mac OS X Mountain Lion
  • GNU C compiler
  • GNU Autool Chain
  • zlib-dev(stable version >=1.2.0)

安装步骤:

cd $HADOOP_HOME/ && ant -Dcompile.native=true compile-native

  • 第一次失败原因:  [exec] configure: error: Can't find either 'objdump' or 'ldd' to compute the dynamic library for '-lz' 

这是因为在Mac上没有objdump和ldd工具,但是XCode command line tools包含了一个otool可以作为替代品。Google一番后发现这个JIRA ticket: https://issues.apache.org/jira/browse/HADOOP-3659 给出了patch文件,因为这个patch文件是针对Hadoop 0.20的,所以我根据patch内容手工编辑$HADOOP_HOME/src/native/acinclude.m4,加入以下代码:

 

elif test ! -z "`which otool | grep -v 'no otool'`"; then
      ac_cv_libname_$1=\"`otool -L conftest | grep $1 | sed -e 's/^[	 ]*//' -e 's/ .*//' -e 's/.*\/\(.*\)$/\1/'`\";

 

 

  •  再次运行:ant -Dcompile.native=true compile-native 仍然失败,这次是: find /Library/Java/JavaVirtualMachines/1.6.0_29-b11-402.jdk/Contents/Home/jre: No such file or directory.

 

修改$HADOOP_HOME/src/native/configure.ac:

  原始内容:JVMSOPATH=`find $JAVA_HOME/jre/ -name 'libjvm.*' | head -n 1` 

  修改为: JVMSOPATH=`find $JAVA_HOME/../ -name 'libjvm.*' | head -n 1`

再次编译仍然失败:

 

     [exec] /Users/gsun/dev/hadoop-1.1.1/src/native/src/org/apache/hadoop/security/JniBasedUnixGroupsNetgroupMapping.c:76: error: void value not ignored as it ought to be

     [exec] make[1]: *** [JniBasedUnixGroupsNetgroupMapping.lo] Error 1

     [exec] make: *** [all] Error 2

 

然后。。。就没有然后了。如果哪位大神看到本文并有解决方案请留言,不胜感激。

 

分享到:
评论

相关推荐

    eclipse安装Hadoop插件

    通过上述步骤,我们不仅成功地在Eclipse中安装了Hadoop插件,还进一步配置了Hadoop环境,包括设置Hadoop集群的位置、释放Hadoop-common库以及关闭HDFS的权限检查等功能。这些操作有助于提高Hadoop程序开发的效率和...

    在Windows上安装Hadoop

    在Windows操作系统上安装Hadoop可能比在Linux环境下稍微复杂一些,因为Hadoop主要设计为在类Unix系统上运行。然而,通过使用Cygwin——一个提供Linux命令行接口和工具的开源软件,我们可以让Hadoop在Windows上运行。...

    Hadoop课程实验和报告——Hadoop安装实验报告

    整个过程包括了在Linux平台上的安装、配置和测试。需要注意的是,Hadoop支持三种运行模式:单机单节点模式、单机多节点的伪分布模式和多机多节点分布模式。 二、Hadoop和Eclipse的结合 Hadoop可以与Eclipse集成,...

    Windows上安装Hadoop

    在Windows操作系统上安装Hadoop可能是一项挑战,但通过遵循正确的步骤和使用合适的工具,这个过程可以变得相对平滑。本文将详细介绍如何在Windows环境中搭建Hadoop,并在Vista或Win7系统上安装SSH服务,以便远程管理...

    hadoop的安装

    标题《hadoop的安装》所涉及的知识点涵盖Hadoop安装过程中的各个方面,包括但不限于JDK环境的配置与安装、Hadoop下载、解压、配置以及启动等步骤。以下是根据给定内容和描述生成的详细知识点: 1. JDK环境配置与...

    hadoop安装

    Hadoop 安装详解 Hadoop 是一种基于 Java 的大数据处理框架,它由 Doug Cutting 和 Mike Cafarella 共同开发,于 2005 年捐献给 Apache 软件基金会。Hadoop 的安装相对较为复杂,需要配置环境变量、core-site.xml、...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    3. 伪分布式模式安装:Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。 4. 分布式模式安装:使用多个...

    在hadoop-3.1.2上安装hbase-2.2.1.pdf

    本文将HBase-2.2.1安装在Hadoop-3.1.2上,关于Hadoop-3.1.2的安装,请参见《基于zookeeper-3.5.5安装hadoop-3.1.2》一文。安装环境为64位CentOS-Linux 7.2版本。 本文将在HBase官方提供的quickstart.html文件的指导...

    window上安装hadoop所需的winutils

    window上安装hadoop所需的winutils;支持hadoop-2.6.0、hadoop-2.6.3、hadoop-2.6.4、hadoop-2.7.1、hadoop-2.8.0-RC3、hadoop-2.8.1、hadoop-2.8.3、hadoop-3.0.0;请依据hadoop版本找到对应的文件,以免出错

    Hadoop2.7.7安装过程

    在本文中,我们将详细探讨如何在Linux环境下安装Hadoop 2.7.7,这是一个广泛使用的开源分布式计算框架。在安装过程中,我们会遇到各种问题,但通过学习和实践,我们可以克服这些困难,从而深入理解Hadoop及其依赖...

    hadoop完全安装手册

    3. **Hadoop集群安装**:完成上述准备后,即可在各个节点上安装并配置Hadoop。 #### 二、具体步骤 ##### 2.1 JDK安装 在所有节点上安装JDK,确保版本兼容Hadoop的版本。可以通过包管理器(如yum或apt-get)或者...

    cent os 6.5 编译hadoop2.6.0源码

    在本文中,我们将深入探讨如何在Cent OS 6.5操作系统上编译Hadoop 2.6.0的源码,以及如何利用编译生成的lib包目录替换官方下载资源中的对应目录。这个过程对于那些希望自定义Hadoop配置、优化性能或解决特定环境下的...

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    ### Hadoop Datanode启动失败:Hadoop安装目录权限问题详解 #### 一、问题背景与现象 在部署Hadoop集群的过程中,用户可能会遇到Datanode启动失败的情况。这一问题通常表现为,在尝试启动Hadoop集群时,Datanode...

    8步安装好你的hadoop

    在开始安装之前,我们需要准备三台服务器(假设为hadoop1、hadoop2、hadoop3),并且确保每台服务器之间能够通过SSH无密码登录。此外,还需要下载JDK与Hadoop的相关软件包。 #### 三、步骤详解 ##### 1. 编辑Hosts...

    hadoop2 安装

    ### Hadoop 2 的安装与配置详解 #### 一、Hadoop 2 概述 Hadoop 是一个能够对大量数据进行分布式处理的软件框架,它由Apache基金会开发。Hadoop 最初的设计是为了处理海量数据的存储和计算需求,通过将大数据集...

    在Windows上安装Hadoop教程

    在Windows上安装Hadoop是一项需要细致操作的任务,尤其对于初学者来说可能会遇到不少挑战。本文将详细介绍这个过程,包括环境准备、安装步骤以及配置细节,旨在帮助你顺利地在Windows系统上搭建起Hadoop环境。 首先...

    Hadoop2.8安装文档

    在安装 Hadoop 过程中,可能会遇到一些问题,例如 JDK 安装失败、Hadoop 文件夹权限问题等。可以通过查看日志文件或搜索在线资源来解决这些问题。 安装 Hadoop 需要小心翼翼,需要按照步骤安装和配置每个组件,否则...

    hadoop集群安装笔记

    在安装Hadoop集群时,需要创建Hadoop用户,以便Hadoop节点之间可以通信。 修改主机名和IP地址映射 在安装Hadoop集群时,可以根据需要修改主机名和IP地址映射,以便方便地标识不同的机器。 ssh无密码登录配置 在...

Global site tag (gtag.js) - Google Analytics