先声明一下,本人并未安装成功,所以寻找在Mac OS 上安装Hadoop native library解决方案的就直接略过本文,免得浪费时间。
环境:
- Hadoop 1.1.1 stable with source code
- Mac OS X Mountain Lion
- GNU C compiler
- GNU Autool Chain
- zlib-dev(stable version >=1.2.0)
安装步骤:
cd $HADOOP_HOME/ && ant -Dcompile.native=true compile-native
- 第一次失败原因: [exec] configure: error: Can't find either 'objdump' or 'ldd' to compute the dynamic library for '-lz'
这是因为在Mac上没有objdump和ldd工具,但是XCode command line tools包含了一个otool可以作为替代品。Google一番后发现这个JIRA ticket: https://issues.apache.org/jira/browse/HADOOP-3659 给出了patch文件,因为这个patch文件是针对Hadoop 0.20的,所以我根据patch内容手工编辑$HADOOP_HOME/src/native/acinclude.m4,加入以下代码:
elif test ! -z "`which otool | grep -v 'no otool'`"; then ac_cv_libname_$1=\"`otool -L conftest | grep $1 | sed -e 's/^[ ]*//' -e 's/ .*//' -e 's/.*\/\(.*\)$/\1/'`\";
- 再次运行:ant -Dcompile.native=true compile-native 仍然失败,这次是: find /Library/Java/JavaVirtualMachines/1.6.0_29-b11-402.jdk/Contents/Home/jre: No such file or directory.
修改$HADOOP_HOME/src/native/configure.ac:
原始内容:JVMSOPATH=`find $JAVA_HOME/jre/ -name 'libjvm.*' | head -n 1`
修改为: JVMSOPATH=`find $JAVA_HOME/../ -name 'libjvm.*' | head -n 1`
再次编译仍然失败:
[exec] /Users/gsun/dev/hadoop-1.1.1/src/native/src/org/apache/hadoop/security/JniBasedUnixGroupsNetgroupMapping.c:76: error: void value not ignored as it ought to be
[exec] make[1]: *** [JniBasedUnixGroupsNetgroupMapping.lo] Error 1
[exec] make: *** [all] Error 2
然后。。。就没有然后了。如果哪位大神看到本文并有解决方案请留言,不胜感激。
相关推荐
通过上述步骤,我们不仅成功地在Eclipse中安装了Hadoop插件,还进一步配置了Hadoop环境,包括设置Hadoop集群的位置、释放Hadoop-common库以及关闭HDFS的权限检查等功能。这些操作有助于提高Hadoop程序开发的效率和...
在Windows操作系统上安装Hadoop可能比在Linux环境下稍微复杂一些,因为Hadoop主要设计为在类Unix系统上运行。然而,通过使用Cygwin——一个提供Linux命令行接口和工具的开源软件,我们可以让Hadoop在Windows上运行。...
整个过程包括了在Linux平台上的安装、配置和测试。需要注意的是,Hadoop支持三种运行模式:单机单节点模式、单机多节点的伪分布模式和多机多节点分布模式。 二、Hadoop和Eclipse的结合 Hadoop可以与Eclipse集成,...
在Windows操作系统上安装Hadoop可能是一项挑战,但通过遵循正确的步骤和使用合适的工具,这个过程可以变得相对平滑。本文将详细介绍如何在Windows环境中搭建Hadoop,并在Vista或Win7系统上安装SSH服务,以便远程管理...
标题《hadoop的安装》所涉及的知识点涵盖Hadoop安装过程中的各个方面,包括但不限于JDK环境的配置与安装、Hadoop下载、解压、配置以及启动等步骤。以下是根据给定内容和描述生成的详细知识点: 1. JDK环境配置与...
Hadoop 安装详解 Hadoop 是一种基于 Java 的大数据处理框架,它由 Doug Cutting 和 Mike Cafarella 共同开发,于 2005 年捐献给 Apache 软件基金会。Hadoop 的安装相对较为复杂,需要配置环境变量、core-site.xml、...
3. 伪分布式模式安装:Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。 4. 分布式模式安装:使用多个...
本文将HBase-2.2.1安装在Hadoop-3.1.2上,关于Hadoop-3.1.2的安装,请参见《基于zookeeper-3.5.5安装hadoop-3.1.2》一文。安装环境为64位CentOS-Linux 7.2版本。 本文将在HBase官方提供的quickstart.html文件的指导...
window上安装hadoop所需的winutils;支持hadoop-2.6.0、hadoop-2.6.3、hadoop-2.6.4、hadoop-2.7.1、hadoop-2.8.0-RC3、hadoop-2.8.1、hadoop-2.8.3、hadoop-3.0.0;请依据hadoop版本找到对应的文件,以免出错
在本文中,我们将详细探讨如何在Linux环境下安装Hadoop 2.7.7,这是一个广泛使用的开源分布式计算框架。在安装过程中,我们会遇到各种问题,但通过学习和实践,我们可以克服这些困难,从而深入理解Hadoop及其依赖...
3. **Hadoop集群安装**:完成上述准备后,即可在各个节点上安装并配置Hadoop。 #### 二、具体步骤 ##### 2.1 JDK安装 在所有节点上安装JDK,确保版本兼容Hadoop的版本。可以通过包管理器(如yum或apt-get)或者...
在本文中,我们将深入探讨如何在Cent OS 6.5操作系统上编译Hadoop 2.6.0的源码,以及如何利用编译生成的lib包目录替换官方下载资源中的对应目录。这个过程对于那些希望自定义Hadoop配置、优化性能或解决特定环境下的...
### Hadoop Datanode启动失败:Hadoop安装目录权限问题详解 #### 一、问题背景与现象 在部署Hadoop集群的过程中,用户可能会遇到Datanode启动失败的情况。这一问题通常表现为,在尝试启动Hadoop集群时,Datanode...
在开始安装之前,我们需要准备三台服务器(假设为hadoop1、hadoop2、hadoop3),并且确保每台服务器之间能够通过SSH无密码登录。此外,还需要下载JDK与Hadoop的相关软件包。 #### 三、步骤详解 ##### 1. 编辑Hosts...
### Hadoop 2 的安装与配置详解 #### 一、Hadoop 2 概述 Hadoop 是一个能够对大量数据进行分布式处理的软件框架,它由Apache基金会开发。Hadoop 最初的设计是为了处理海量数据的存储和计算需求,通过将大数据集...
在Windows上安装Hadoop是一项需要细致操作的任务,尤其对于初学者来说可能会遇到不少挑战。本文将详细介绍这个过程,包括环境准备、安装步骤以及配置细节,旨在帮助你顺利地在Windows系统上搭建起Hadoop环境。 首先...
在安装 Hadoop 过程中,可能会遇到一些问题,例如 JDK 安装失败、Hadoop 文件夹权限问题等。可以通过查看日志文件或搜索在线资源来解决这些问题。 安装 Hadoop 需要小心翼翼,需要按照步骤安装和配置每个组件,否则...
在安装Hadoop集群时,需要创建Hadoop用户,以便Hadoop节点之间可以通信。 修改主机名和IP地址映射 在安装Hadoop集群时,可以根据需要修改主机名和IP地址映射,以便方便地标识不同的机器。 ssh无密码登录配置 在...