Hadoop 伪分布式安装,可以在单节点上模拟分布式的各个进程,本地开发环境建议采用这种方式:
#配置免密钥登陆
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub>>~/.ssh/authorized_key
#创建目录
cd /Users/Administrator/hadoop
mkdir tmp
mkdir -p hdfs/name
mkdir hdfs/data
#修改配置
vi etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
<name>hadoop.tmp.dir</name>
<value>file:///Users/Administrator/hadoop/tmp</value>
</property> </configuration>
vi etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<name>dfs.namenode.name.dir</name>
<value>file:///Users/Administrator/hadoop/hdfs/name</value>
<name>dfs.datanode.data.dir</name>
<value>file:///Users/Administrator/hadoop/hdfs/data</value>
</property>
</configuration>
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vi etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
vi etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
#格式化namenode
bin/hadoop namenode -format
#启动服务
sbin/start-dfs.sh
sbin/start-yarn.sh
#查看进程,看到如下进程说明已经安装成功
MacBook-Pro:hadoop Administrator$ jps
696 DataNode
972 Jps
874 ResourceManager
780 SecondaryNameNode
632 NameNode
944 NodeManager
遇到的问题:
1.Unable to load realm info from SCDynamicStore
解决办法:hadoop-env.sh里加设置:export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk”
2.Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
原因是hadoop官网下的编译好的安装包一般是32位的,缺少MAC本地库,可通过编译hadoop获得,步骤:
1),安装maven,
mkdir ~/applib/
tar zxf apache-maven-3.0.5.tar.gz
sudo vi /etc/profile 增加
export MAVEN_HOME=~/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin
验证是否安装成功
mvn -version
2),安装protobuf
tar zxf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure --prefix=/apps/dev/protobuf
make -j4
make install
将protobuf放进环境变量
export PATH=/apps/dev/protobuf/bin:$PATH
export DYLD_LIBRARY_PATH=/apps/dev/protobuf/lib
验证是否安装成功
protoc 是否输出 missing input file
3),下载源代码包hadoop-2.3.0-cdh5.0.0-src.tar.gz
tar zxf hadoop-2.3.0-cdh5.0.0-src.tar.gz
cd hadoop-2.3.0-cdh5.0.0
mvn package -Pdist,native -DskipTests -Dtar
编译过程中如果遇到无法解决依赖的包,可能是**防火墙导致无法下载到依赖的jar包
解决办法:在MAVEN里增加一个公共库
找到MAVEN的安装目录,进入目录下的CONF,编辑setting.xml配置文件,添加如下配置信息
<mirrors>
<mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<name>Nexus osc</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>
</mirrors>
4),安装homebrew
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
5),安装相应的程序
brew install autoconf automake libtool cmake
6),sudo mkdir $JAVA_HOME/Classes
sudo ln -sf $JAVA_HOME/lib/tools.jar $JAVA_HOME/Classes/classes.jar
不然报:Exception in thread "main" java.lang.AssertionError: Missing tools.jar at: /Library/Java/JavaVirtualMachines/jdk1.7.0_45.jdk/Contents/Home/Classes/classes.jar. Expression: file.exists()
7),Hadoop本地库只支持*nix平台,已经广泛使用在GNU/Linux平台上,但是不支持 Cygwin 和 Mac OS X 。当然有人已经给出了Mac OSX系统编译本地库的patch,需先打上这个patch。
brew install wget
wget https://issues.apache.org/jira/secure/attachment/12617363/HADOOP-9648.v2.patch
patch -p1 < HADOOP-9648.v2.patch
ps:如果要回退patch 执行:patch -RE -p1 < HADOOP-9648.v2.patch 即可。
8),brew install openssl不行,只安装openssl,没有安装openssl-devel
必须port安装,macports类似brew是包管理工具,可收藏夹“macports”中下载pkg安装;
sudo port -v selfupdate;
sudo port install ncurses;
sudo port install openssl;
不然报:Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1
9),mvn package -Pdist,native -DskipTests -Dtar (加上-e -X参数,可以查看调试信息)
编译好的包在hadoop-dist/target,拷贝到native中
cp hadoop-dist/target/hadoop-2.3.0-cdh5.0.0/lib/native/* ~/hadoop/lib/native/
3.MAC下执行jar包报错:Mkdirs failed to create /tmp/hadoop-Administrator/hadoop-unjar5349774432125303237/META-INF/license
解决方法:zip -d jar包名.jar META_INF/LICENSE
4.Directory /private/tmp/hadoop-Administrator/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible
原因是hadoop默认将临时文件和namenode,datanode的文件放在tmp目录下,电脑重启后tmp目录被删除,启动服务时报错。
解决方法:core-site.xml 配置hadoop.tmp.dir,hdfs-site.xml配置dfs.namenode.name.dir/dfs.datanode.dir到tmp以外的目录。
纪录实际操作过程
内容在个人公众号mangrendd同步更新
相关推荐
搭建一个Hadoop集群是一个复杂的过程,但为了更好的理解,我们将这个过程拆解成几个主要步骤,并且由于本文档是在Mac环境下进行Hadoop集群搭建的指南,我们需要专注于特定于Mac和VMware Fusion的步骤。 1. 创建...
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念,包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释:...
在Mac环境下搭建Hadoop 3.1.4源码,是一项对分布式计算系统有深入了解的任务。Hadoop是Apache基金会开源的一个大数据处理框架,它主要由HDFS(Hadoop Distributed File System)和MapReduce两大部分组成,同时还有...
【描述】: 在Mac环境下搭建Hadoop三节点集群是一项常见的IT任务,特别是在大数据处理和分布式计算的学习与实践中。Hadoop是Apache基金会开发的一个开源项目,主要负责分布式存储和计算,其核心组件包括HDFS(Hadoop ...
【Hadoop伪分布式环境搭建详解】 Hadoop作为大数据处理的核心框架,对于初学者和专业开发人员来说,理解并掌握其安装配置至关重要。Hadoop提供了多种运行模式,包括本地模式、伪分布式模式以及集群模式,每种模式都...
**步骤2:** 查看`BUILDING.txt`文件,该文件详细列出了编译Hadoop所需的环境和依赖项,包括但不限于: - **Unix System**:操作系统的类型。 - **JDK 1.7+**:Java开发工具包的版本。 - **Maven 3.0 or later**...
实验主要涉及了Linux操作系统、Java开发环境以及Hadoop大数据处理框架的安装和配置。以下是对这些知识点的详细说明: 1. **Linux环境搭建**: 实验在CentOS操作系统上进行,首先需要对CentOS进行安装和配置。...
搭建Hadoop分布式集群前需要准备相应的环境。环境准备包括硬件选择(至少需要3台服务器,可以是物理机或虚拟机)以及操作系统的选择,这里采用的是CentOS Linux release 7.5.1804(Core)64位版本。 3. JDK安装: ...
一旦系统安装完毕,可以逐步搭建Hadoop环境,从独立模式开始,然后过渡到伪分布式和全分布式模式。最后,学习编写一键启动脚本来简化集群管理。 总的来说,大数据学习需要扎实的Java基础,熟练的Linux操作技能,...
文档详细介绍了在Linux环境下搭建Hadoop集群的步骤,包括: - 系统配置:修改/etc/sysconfig/network文件来设置网络配置,包括主机名设置和网络启动。 - 主机名和IP配置:编辑/etc/hosts文件,确保主机名和IP地址...
在获取源码后,你需要搭建一个适合编译Hadoop的开发环境。这通常包括以下组件: 1. **Java开发环境**:Hadoop是用Java语言编写的,所以需要JDK(Java Development Kit)版本至少为8。确保`JAVA_HOME`环境变量设置...
- **3.2.1 支持平台**:Hadoop可以在多种操作系统上运行,如Linux、Mac OS X和Windows,但在生产环境中最常用的是Linux。 - **3.2.2 所需软件**:需要安装JDK(Java Development Kit),因为Hadoop是用Java编写的。 ...
本文档详细介绍了如何在VMware Workstation Pro 12虚拟化平台上搭建一个CDH 5.7.0 Hadoop集群,用于测试环境。通过此文档的学习与实践,读者能够了解在虚拟机环境中构建Hadoop集群的具体步骤和技术要点,这对于在...
文中提到了在Mac环境下安装Hadoop 2.4.0,并且使用SunJDK 1.7版本。安装过程中需要配置环境变量,例如JAVA_HOME和HADOOP_HOME,以及相关的CLASSPATH和PATH。环境变量配置完成后,通过source命令加载profile文件以使...
接下来,Hadoop环境的搭建需要安装JDK。在这里选择的是JDK 1.6 update 30,可以从Oracle官网下载。安装步骤包括: 1. 将下载的`jdk-6u30-linux-i586.bin`复制到Redhat任意目录,如/opt/。 2. 添加可执行权限:`#...
下面,我们将详细讲解如何搭建Nutch的开发环境。 **步骤一:系统准备** 在开始搭建Nutch开发环境之前,你需要确保你的计算机满足以下基本要求: 1. 操作系统:Nutch可以在Linux、Mac OS X或Windows上运行,但推荐...
Hadoop由Apache基金会开发,其核心组件包括分布式文件系统HDFS和MapReduce计算模型,提供了高可靠、可扩展、高效和容错的数据处理能力。 首先,我们来了解一下Hadoop的主要特点: 1. **高可靠性**:Hadoop通过数据...