`
qingshou117
  • 浏览: 47767 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

MAC下hadoop开发环境搭建系列(三)

阅读更多

Hadoop 伪分布式安装,可以在单节点上模拟分布式的各个进程,本地开发环境建议采用这种方式:

#配置免密钥登陆

 

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub>>~/.ssh/authorized_key 

 

#创建目录

cd /Users/Administrator/hadoop

mkdir tmp

mkdir -p hdfs/name

mkdir hdfs/data

 

#修改配置

vi etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
        <name>hadoop.tmp.dir</name>
        <value>file:///Users/Administrator/hadoop/tmp</value>
    </property>
</configuration>

 

vi etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <name>dfs.namenode.name.dir</name>
        <value>file:///Users/Administrator/hadoop/hdfs/name</value>
        <name>dfs.datanode.data.dir</name>
        <value>file:///Users/Administrator/hadoop/hdfs/data</value>
    </property>
</configuration>

 

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

vi etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

 

vi etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

 

#格式化namenode

bin/hadoop namenode -format

#启动服务

sbin/start-dfs.sh 

sbin/start-yarn.sh

#查看进程,看到如下进程说明已经安装成功

MacBook-Pro:hadoop Administrator$ jps

696 DataNode

972 Jps

874 ResourceManager

780 SecondaryNameNode

632 NameNode

944 NodeManager

 

遇到的问题:

1.Unable to load realm info from SCDynamicStore

解决办法:hadoop-env.sh里加设置:export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk”

2.Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

原因是hadoop官网下的编译好的安装包一般是32位的,缺少MAC本地库,可通过编译hadoop获得,步骤:

1),安装maven,

mkdir ~/applib/

tar zxf apache-maven-3.0.5.tar.gz

sudo vi /etc/profile 增加

export MAVEN_HOME=~/apache-maven-3.0.5

export PATH=$PATH:$MAVEN_HOME/bin

验证是否安装成功

mvn -version

2),安装protobuf

tar zxf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0

./configure --prefix=/apps/dev/protobuf

make -j4

make install

将protobuf放进环境变量

export PATH=/apps/dev/protobuf/bin:$PATH

export DYLD_LIBRARY_PATH=/apps/dev/protobuf/lib

验证是否安装成功

protoc 是否输出 missing input file

3),下载源代码包hadoop-2.3.0-cdh5.0.0-src.tar.gz

tar zxf hadoop-2.3.0-cdh5.0.0-src.tar.gz

cd hadoop-2.3.0-cdh5.0.0

mvn package -Pdist,native -DskipTests -Dtar

编译过程中如果遇到无法解决依赖的包,可能是**防火墙导致无法下载到依赖的jar包

解决办法:在MAVEN里增加一个公共库

找到MAVEN的安装目录,进入目录下的CONF,编辑setting.xml配置文件,添加如下配置信息

<mirrors>

  <mirror>

       <id>nexus-osc</id>

       <mirrorOf>*</mirrorOf>

       <name>Nexus osc</name>

       <url>http://maven.oschina.net/content/groups/public/</url>

   </mirror>

 </mirrors>

4),安装homebrew

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

5),安装相应的程序

brew install autoconf automake libtool cmake

6),sudo mkdir $JAVA_HOME/Classes

sudo ln -sf $JAVA_HOME/lib/tools.jar $JAVA_HOME/Classes/classes.jar

不然报:Exception in thread "main" java.lang.AssertionError: Missing tools.jar at: /Library/Java/JavaVirtualMachines/jdk1.7.0_45.jdk/Contents/Home/Classes/classes.jar. Expression: file.exists()

7),Hadoop本地库只支持*nix平台,已经广泛使用在GNU/Linux平台上,但是不支持 Cygwin  和 Mac OS X 。当然有人已经给出了Mac OSX系统编译本地库的patch,需先打上这个patch。

brew install wget

wget https://issues.apache.org/jira/secure/attachment/12617363/HADOOP-9648.v2.patch

patch -p1 < HADOOP-9648.v2.patch

ps:如果要回退patch 执行:patch -RE -p1 < HADOOP-9648.v2.patch 即可。

8),brew install openssl不行,只安装openssl,没有安装openssl-devel

必须port安装,macports类似brew是包管理工具,可收藏夹“macports”中下载pkg安装;

sudo port -v selfupdate;

sudo port install ncurses;

sudo port install openssl;

不然报:Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1

9),mvn package -Pdist,native -DskipTests -Dtar  (加上-e -X参数,可以查看调试信息)

编译好的包在hadoop-dist/target,拷贝到native中

cp hadoop-dist/target/hadoop-2.3.0-cdh5.0.0/lib/native/* ~/hadoop/lib/native/

3.MAC下执行jar包报错:Mkdirs failed to create /tmp/hadoop-Administrator/hadoop-unjar5349774432125303237/META-INF/license

解决方法:zip -d jar包名.jar META_INF/LICENSE

4.Directory /private/tmp/hadoop-Administrator/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible

原因是hadoop默认将临时文件和namenode,datanode的文件放在tmp目录下,电脑重启后tmp目录被删除,启动服务时报错。

解决方法:core-site.xml 配置hadoop.tmp.dir,hdfs-site.xml配置dfs.namenode.name.dir/dfs.datanode.dir到tmp以外的目录。

 

纪录实际操作过程                                 

 

内容在个人公众号mangrendd同步更新

 

  • 大小: 145.3 KB
0
1
分享到:
评论

相关推荐

    mac环境下hadoop集群搭建

    搭建一个Hadoop集群是一个复杂的过程,但为了更好的理解,我们将这个过程拆解成几个主要步骤,并且由于本文档是在Mac环境下进行Hadoop集群搭建的指南,我们需要专注于特定于Mac和VMware Fusion的步骤。 1. 创建...

    大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc

    【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念,包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释:...

    mac下hadoop3.1.4源码

    在Mac环境下搭建Hadoop 3.1.4源码,是一项对分布式计算系统有深入了解的任务。Hadoop是Apache基金会开源的一个大数据处理框架,它主要由HDFS(Hadoop Distributed File System)和MapReduce两大部分组成,同时还有...

    作业二-Mac版Hadoop三节点集群搭建.docx

    【描述】: 在Mac环境下搭建Hadoop三节点集群是一项常见的IT任务,特别是在大数据处理和分布式计算的学习与实践中。Hadoop是Apache基金会开发的一个开源项目,主要负责分布式存储和计算,其核心组件包括HDFS(Hadoop ...

    第3章hadoop伪分布式环境的搭建.docx

    【Hadoop伪分布式环境搭建详解】 Hadoop作为大数据处理的核心框架,对于初学者和专业开发人员来说,理解并掌握其安装配置至关重要。Hadoop提供了多种运行模式,包括本地模式、伪分布式模式以及集群模式,每种模式都...

    Hadoop学习之路(三)Hadoop-2.7.5在CentOS-6.7上的编译

    **步骤2:** 查看`BUILDING.txt`文件,该文件详细列出了编译Hadoop所需的环境和依赖项,包括但不限于: - **Unix System**:操作系统的类型。 - **JDK 1.7+**:Java开发工具包的版本。 - **Maven 3.0 or later**...

    大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.pdf

    实验主要涉及了Linux操作系统、Java开发环境以及Hadoop大数据处理框架的安装和配置。以下是对这些知识点的详细说明: 1. **Linux环境搭建**: 实验在CentOS操作系统上进行,首先需要对CentOS进行安装和配置。...

    基于Hadoop分布式集群搭建方法研究.pdf

    搭建Hadoop分布式集群前需要准备相应的环境。环境准备包括硬件选择(至少需要3台服务器,可以是物理机或虚拟机)以及操作系统的选择,这里采用的是CentOS Linux release 7.5.1804(Core)64位版本。 3. JDK安装: ...

    大数据学习所需基本知识以及搭建Hadoop大数据环境过程.docx

    一旦系统安装完毕,可以逐步搭建Hadoop环境,从独立模式开始,然后过渡到伪分布式和全分布式模式。最后,学习编写一键启动脚本来简化集群管理。 总的来说,大数据学习需要扎实的Java基础,熟练的Linux操作技能,...

    基于Hadoop平台的搭建及应用研究.pdf

    文档详细介绍了在Linux环境下搭建Hadoop集群的步骤,包括: - 系统配置:修改/etc/sysconfig/network文件来设置网络配置,包括主机名设置和网络启动。 - 主机名和IP配置:编辑/etc/hosts文件,确保主机名和IP地址...

    Hadoop源码及编译工具

    在获取源码后,你需要搭建一个适合编译Hadoop的开发环境。这通常包括以下组件: 1. **Java开发环境**:Hadoop是用Java语言编写的,所以需要JDK(Java Development Kit)版本至少为8。确保`JAVA_HOME`环境变量设置...

    hadoop 笔记

    - **3.2.1 支持平台**:Hadoop可以在多种操作系统上运行,如Linux、Mac OS X和Windows,但在生产环境中最常用的是Linux。 - **3.2.2 所需软件**:需要安装JDK(Java Development Kit),因为Hadoop是用Java编写的。 ...

    CDH_5.7.0_基于VM虚拟机的hadoop集群搭建

    本文档详细介绍了如何在VMware Workstation Pro 12虚拟化平台上搭建一个CDH 5.7.0 Hadoop集群,用于测试环境。通过此文档的学习与实践,读者能够了解在虚拟机环境中构建Hadoop集群的具体步骤和技术要点,这对于在...

    Hadoop研究报告

    文中提到了在Mac环境下安装Hadoop 2.4.0,并且使用SunJDK 1.7版本。安装过程中需要配置环境变量,例如JAVA_HOME和HADOOP_HOME,以及相关的CLASSPATH和PATH。环境变量配置完成后,通过source命令加载profile文件以使...

    基于VMware-Workstation8的双节点hadoop配置.doc

    接下来,Hadoop环境的搭建需要安装JDK。在这里选择的是JDK 1.6 update 30,可以从Oracle官网下载。安装步骤包括: 1. 将下载的`jdk-6u30-linux-i586.bin`复制到Redhat任意目录,如/opt/。 2. 添加可执行权限:`#...

    搭建nutch开发环境步骤

    下面,我们将详细讲解如何搭建Nutch的开发环境。 **步骤一:系统准备** 在开始搭建Nutch开发环境之前,你需要确保你的计算机满足以下基本要求: 1. 操作系统:Nutch可以在Linux、Mac OS X或Windows上运行,但推荐...

    安装部署Hadoop集群.pdf

    Hadoop由Apache基金会开发,其核心组件包括分布式文件系统HDFS和MapReduce计算模型,提供了高可靠、可扩展、高效和容错的数据处理能力。 首先,我们来了解一下Hadoop的主要特点: 1. **高可靠性**:Hadoop通过数据...

Global site tag (gtag.js) - Google Analytics