hadoop 2.2.0相比于hadoop 0.20.X的安装很不一样。
1、准备三台机器 test01(master),test02(slaves), test03(slaves),并把test01的公钥放到test02/test03的~/.ssh/authorized_keys以打通master和集群的通信。
2、下载hadoop-2.2.0.tar.gz
3、在hadoop 2.2.0进行配置,配置完成后再拷贝到其他slaves上
4、配置文件都在$HADOOP_HOME/etc/hadoop下
a、hadoop-env.sh:
替换exportJAVA_HOME=${JAVA_HOME}为如下:
export JAVA_HOME=Java安装路径
b、core-site.xml:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://test01:9000</value> </property> <property> <name>hadoop.tmp.dirname</name> <value>/root/hadoop/data/</value> </property> </configuration>
注意:
test01的master的ip。
要事先创建好/root/hadoop/data
c、mapred-site.xml:
<configuration> <property> <name>mapred.job.tracker</name> <value>test01:9001</value> </property> </configuration>
d、hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>2</value> <description>Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time. </description> </property> </configuration>
e、slaves:
test02 test03
5、配置完成后,将test01的hadoop文件夹拷到test02和test03上
6、format
在test01上运行$HADOOP_HOME/bin/hadoop namenode -format
如果执行成功,你会在日志中(倒数几行)找到如下成功的提示信息:
common.Storage: Storage directory /home/hduser/hadoop/tmp/hadoop-hduser/dfs/namehas been successfully formatted.
注意如果在test02又跑了一次format,运行时会报
Incompatible namespaceIDs in /tmp/hadoop-root/dfs/data
的错误,导致DataNode启动不起来,解决方法是删除集群中各台机器的rm -rf /tmp/hadoop-root/* ,然后重新format就行
7、启动hadoop
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
note:这个版本已经不推荐使用start-all.sh命令
成功完成后:
test01 jps:
11047 ResourceManager 10906 SecondaryNameNode 11966 Jps 10724 NameNode
test02/test03 jps:
6406 NodeManager 6288 DataNode 6508 Jps
使用$HADOOP_HOME/bin/hdfs dfsadmin -report查看hdfs状态:
Configured Capacity: 52840488960 (49.21 GB) Present Capacity: 45652713472 (42.52 GB) DFS Remaining: 45652664320 (42.52 GB) DFS Used: 49152 (48 KB) DFS Used%: 0.00% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 2 (2 total, 0 dead) Live datanodes: Name: 192.168.2.106:50010 (test02) Hostname: test02 Decommission Status : Normal Configured Capacity: 26420244480 (24.61 GB) DFS Used: 24576 (24 KB) Non DFS Used: 3575242752 (3.33 GB) DFS Remaining: 22844977152 (21.28 GB) DFS Used%: 0.00% DFS Remaining%: 86.47% Last contact: Sat Nov 16 12:39:27 CST 2013 Name: 192.168.2.99:50010 (test03) Hostname: test03 Decommission Status : Normal Configured Capacity: 26420244480 (24.61 GB) DFS Used: 24576 (24 KB) Non DFS Used: 3612532736 (3.36 GB) DFS Remaining: 22807687168 (21.24 GB) DFS Used%: 0.00% DFS Remaining%: 86.33% Last contact: Sat Nov 16 12:39:27 CST 2013
8、关闭命令
stop-yarn.shstop-dfs.sh
9、hadoop相关dfs命令已经和以前不一样,如hadoop dfs -ls /tmp 要修改成$HADOOP_HOME/bin/hdfs dfs -ls /tmp
10、查看管理页面: http://test01:50070/
遇到的问题:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
相关推荐
Hadoop2.2.0安装配置手册,新手安装和配置
《Hadoop 2.2.0 安装指南》 Hadoop是一款开源的分布式计算框架,主要用于处理和存储海量数据。本文将详细讲解如何在Linux环境下安装Hadoop 2.2.0版本。 首先,从Apache官方网站下载Hadoop 2.2.0的最新版本。请注意...
《Hadoop2.2.0安装配置及实例教程入门宝典》 在大数据处理领域,Hadoop是一个不可或缺的工具,其分布式存储和计算能力为企业级数据处理提供了强大的支持。本教程将带你逐步走进Hadoop的世界,从零开始,教你如何在...
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程.
Hadoop 2.2.0 是 Apache Hadoop 的一个关键版本,它包含了众多改进和优化,使得这个分布式计算框架在处理大数据集时更加高效和稳定。在这个配置文件中,我们将会探讨Hadoop 2.2.0 在4台CentOS 6.4系统上运行所需的...
根据提供的文件标题、描述、标签以及部分内容,我们可以推断出这份文档主要涉及Hadoop 2.2.0版本在Linux 64位系统上的安装包和...通过以上介绍的知识点,相信您可以更加深入地理解Hadoop 2.2.0的核心特性和安装过程。
【Hadoop 2.2.0 知识点详解】 Hadoop是Apache软件基金会开发的一个开源框架,专门设计用于处理和存储大规模数据。Hadoop 2.2.0是其一个重要版本,它在Hadoop 1.x的基础上进行了大量的优化和改进,增强了系统的稳定...
Hadoop2.2.0完全分布式集群平台安装设置 HDFS HA架构: 1、先设定电脑的IP为静态地址: 2、设置各个主机的hostname 3、在所有电脑的/etc/hosts添加以下配置: 4、设置SSH无密码登陆 5、下载解压hadoop-2.2.0.tar.gz...
将这个文件夹替换到Hadoop安装目录下的相应位置,可以确保Hadoop正确识别并使用到这些本地库,从而保证系统的稳定运行和性能提升。 总结来说,Hadoop 2.2.0 64位native文件是为64位Linux系统定制的,包含了Hadoop...
hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包。
总结来说,安装64位的Hadoop 2.2.0涉及下载源代码、配置编译环境、编译源代码、安装和配置Hadoop以及启动服务。这个过程对于理解和掌握Hadoop的工作原理非常有帮助,同时也能确保在64位Linux系统上顺利运行大数据...
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin- Hadoop本地库与系统版本不一致引起的错误。...直接替换${HADOOP_HOME}/hadoop-2.2.0/lib/native
Hadoop 2.2.0 分布式安装指导
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
本文档主要详细介绍了Hadoop 2.2.0版本的编译安装过程。
通过以上步骤,我们可以验证Hadoop2.2.0环境是否安装正确,以及MapReduce功能是否正常工作。这个简单的WordCount测试对于理解和熟悉Hadoop的基本操作非常有帮助,是初学者入门的必备步骤。如果你对Hadoop有足够了解...