关于Hadoop的配置,按照我的理解,应该有六个文件需要修改,它们都在Hadoop的conf文件夹下,分别是:
masters/slavers:配置masters和slavers的机器IP
hadoop-env.sh :Hadoop 运行时的环境变量,比如JAVA_HOME,LOG之类的
core-site.xml :Hadoop 的核心配置文件,对应并覆盖core-default.xml 中的配置项
hdfs-site.xml :HDFS 的配置文件,对应并覆盖hdfs-default.xml 中的配置项
mapred-site.xml :Map/Reduce的配置文件,对应并覆盖mapred-default.xml 中的配置项
上面提到的三个*-default.xml 是Hadoop的默认配置项,理论上都是只读的,如果要修改,就通过对应的用户配置文件来覆盖其设置。
1、先配置masters/slavers,NameNode和JobTracker是master, DataNode01和DataNode02是salvers
Masters:
masters文件内容如下:
- 192.168.100.101
- 192.168.100.102
Slavers:
slavers文件内容如下:
- 192.168.100.103
- 192.168.100.104
2、先配置hadoop-env.sh,这里最重要的是配置JAVA_HOME,在我的机器上是这样的:
- export JAVA_HOME=/usr/lib/jvm/java-6-sun
其余的可以考虑配置日志文件路径:
- export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
3、配置core-site.xml,通过文档可以知道这里一般是配置NameNode的地址,即机器名或IP:
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://192.168.100.101:9000</value>
- </property>
- </configuration>
4、配置hdfs-site.xml,这里一般配置文件存放路径以及文件权限:
- <configuration>
- <property>
-
- <name>dfs.name.dir</name>
- <value>/hadoop/dfs/name</value>
- </property>
- <property>
-
- <name>dfs.data.dir</name>
- <value>/hadoop/dfs/data</value>
- </property>
- <property>
-
- <name>dfs.permissions</name>
- <value>false</value>
- </property>
- </configuration>
5、配置mapred-site.xml, 这里配置的东西有很多,都是跟Map-Reduce相关的,不过暂时先配置如下几项:
- <configuration>
- <property>
-
- <name>mapred.job.tracker</name>
- <value>hdfs://192.168.100.102:9001</value>
- </property>
- <property>
-
- <name>mapred.system.dir</name>
- <value>/hadoop/mapred/system</value>
- </property>
- <property>
-
- <name>mapred.local.dir</name>
- <value>/hadoop/mapred/local</value>
- </property>
- </configuration>
这些配置都可以在一台机器上搞定,由于Hadoop所有机器是使用同样的配置,所以可以通过scp命令将conf下的内容拷贝复制到各个机器上:
- scp -rp /hadoop/conf fox@192.168.100.102/hadoop/
只复制conf是由于我拷贝虚拟机时就已经把JAVA,Hadoop 都安装好后才拷贝的,这样可以保证所有文件在同一目录。
启动
然后,激动人心的时刻到了,所有配置都搞定了,我们可以启动了!
不过还有一件事情必须要先做, 格式化名称空间。
在NameNode上,执行如下命令:
- cd /hadoop/bin
- ./hadoop namenode -format
执行后结果如下:
然后就可以执行最后一个命令了:
如果一切顺利的话,应该就成功了:
如果要关闭的话,可以执行
ref:http://blog.csdn.net/lee_leefox/article/details/7071692
分享到:
相关推荐
"hadoop集群环境的搭建" Hadoop 是一个开源的大数据处理框架,由Apache基金会开发和维护。它可以实现大规模数据的存储和处理,具有高可扩展性、可靠性和高性能等特点。搭建 Hadoop 集群环境是实现大数据处理的重要...
hadoop集群搭建Hadoop集群安装和搭建(全面超详细的过程) 文章目录 Hadoop集群安装和搭建(全面超详细的过程) 前言 一、虚拟机的安装 二、Linux系统安装 1.环境准备 2.虚拟机安装 三、Centos系统安装 四、静态网络...
本文将详细讲解如何搭建一个Hadoop集群,包括虚拟机安装、环境配置、Hadoop和Zookeeper的安装及集群验证。以下是对每个步骤的详细说明: 一、虚拟机安装与配置 在搭建Hadoop集群之前,首先需要准备多台虚拟机。可以...
Hadoop集群环境搭建是大数据处理的核心组件之一,本文将详细介绍Hadoop集群环境的搭建过程,包括集群规划、前置条件、免密登录、集群搭建、提交服务到集群等几个方面。 集群规划 在搭建Hadoop集群环境时,需要首先...
Hadoop 集群架构搭建分析 Hadoop 集群架构搭建分析是指设计和搭建一个高效、可靠、可扩展的 Hadoop 集群环境,以满足大数据处理和分析的需求。本文将从概述、环境准备、环境搭建三个方面对 Hadoop 集群架构搭建进行...
脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架,被广泛应用于各类场景之中。然而,在...
Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界,了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目,其核心包括两个主要组件:Hadoop Distributed File ...
Hadoop高可用集群搭建手册 本文档主要介绍了Hadoop 2.6高可用集群的搭建过程,包括集群规划、搭建准备、集群搭建和配置等步骤。下面是从中提取的知识点: 1. 集群规划 在规划Hadoop集群时,需要考虑到集群的拓扑...
Hadoop集群搭建详解 Hadoop是一个开源的分布式计算平台,由 Apache 软件基金会开发,核心组件包括HDFS(Hadoop Distributed Filesystem)和MapReduce。HDFS是一个分布式文件系统,提供了对文件系统的命名空间和...
Hadoop作为大数据处理的核心组件,包括HDFS(Hadoop Distributed File System)和MapReduce等模块,构建一个Hadoop集群通常涉及多台服务器的配置、软件安装、服务启动和集群配置。通过Ansible,我们可以简化这个过程...
Hadoop集群安装笔记是一篇详细的安装指南,旨在帮助新手快速搭建Hadoop学习环境。以下是该笔记中的重要知识点: Hadoop集群安装目录 在安装Hadoop集群之前,需要准备好安装环境。安装环境包括Java Development Kit...
6. **格式化NameNode**:首次搭建集群,需要对NameNode进行格式化,初始化HDFS的文件系统元数据。 7. **启动Hadoop服务**:在每个节点上启动Hadoop的守护进程,包括DataNode、NameNode、ResourceManager、...
标题中的“大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop”暗示了这是一个关于如何在大数据环境中构建Hadoop集群的教程。Hadoop是Apache软件基金会的一个开源项目,主要用于处理和存储海量数据,其分布式...