`
king_c
  • 浏览: 222712 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop 集群 傻瓜式搭建手记

 
阅读更多

关于Hadoop的配置,按照我的理解,应该有六个文件需要修改,它们都在Hadoop的conf文件夹下,分别是

masters/slavers:配置masters和slavers的机器IP

hadoop-env.sh :Hadoop 运行时的环境变量,比如JAVA_HOME,LOG之类的

core-site.xml :Hadoop 的核心配置文件,对应并覆盖core-default.xml 中的配置项

hdfs-site.xml :HDFS 的配置文件,对应并覆盖hdfs-default.xml 中的配置项

mapred-site.xml :Map/Reduce的配置文件,对应并覆盖mapred-default.xml 中的配置项

上面提到的三个*-default.xml 是Hadoop的默认配置项,理论上都是只读的,如果要修改,就通过对应的用户配置文件来覆盖其设置。

 

1、先配置masters/slavers,NameNode和JobTracker是master, DataNode01和DataNode02是salvers

Masters:

 

  1. vi /hadoop/conf/masters  
masters文件内容如下:

 

 

  1. 192.168.100.101  
  2. 192.168.100.102  

 

Slavers:

  1. vi /hadoop/conf/slavers  
slavers文件内容如下:

 

 

  1. 192.168.100.103  
  2. 192.168.100.104  


 

2、先配置hadoop-env.sh,这里最重要的是配置JAVA_HOME,在我的机器上是这样的:

 

  1. export JAVA_HOME=/usr/lib/jvm/java-6-sun  

其余的可以考虑配置日志文件路径:

 

 

  1. export HADOOP_LOG_DIR=${HADOOP_HOME}/logs  

3、配置core-site.xml,通过文档可以知道这里一般是配置NameNode的地址,即机器名或IP:

 

  1. <configuration>    
  2.         <property>  
  3.                 <name>fs.default.name</name>     
  4.                 <value>hdfs://192.168.100.101:9000</value>     
  5.         </property>   
  6. </configuration>   

4、配置hdfs-site.xml,这里一般配置文件存放路径以及文件权限:

 

 

  1. <configuration>    
  2.     <property>    
  3.         <!-- DFS中存储文件命名空间信息的目录 -->    
  4.         <name>dfs.name.dir</name>    
  5.         <value>/hadoop/dfs/name</value>    
  6.     </property>    
  7.     <property>    
  8.         <!-- DFS中存储文件数据的目录 -->    
  9.         <name>dfs.data.dir</name>     
  10.         <value>/hadoop/dfs/data</value>    
  11.     </property>    
  12.     <property>    
  13.         <!-- 是否对DFS中的文件进行权限控制(测试中一般用false)-->    
  14.         <name>dfs.permissions</name>    
  15.         <value>false</value>    
  16.    </property>    
  17. </configuration>   


5、配置mapred-site.xml, 这里配置的东西有很多,都是跟Map-Reduce相关的,不过暂时先配置如下几项:

 

  1. <configuration>  
  2.     <property>    
  3.         <!-- JobTracker节点 -->    
  4.         <name>mapred.job.tracker</name>    
  5.         <value>hdfs://192.168.100.102:9001</value>    
  6.     </property>    
  7.     <property>    
  8.         <!-- map/reduce的系统目录(使用的HDFS的路径) -->    
  9.         <name>mapred.system.dir</name>    
  10.         <value>/hadoop/mapred/system</value>    
  11.     </property>    
  12.     <property>    
  13.         <!-- map/reduce的临时目录(可使用“,”隔开,设置多重路径来分摊磁盘IO) -->    
  14.         <name>mapred.local.dir</name>    
  15.         <value>/hadoop/mapred/local</value>    
  16.     </property>    
  17. </configuration>   

 

 

这些配置都可以在一台机器上搞定,由于Hadoop所有机器是使用同样的配置,所以可以通过scp命令将conf下的内容拷贝复制到各个机器上:

 

  1. scp -rp /hadoop/conf fox@192.168.100.102/hadoop/  

只复制conf是由于我拷贝虚拟机时就已经把JAVA,Hadoop 都安装好后才拷贝的,这样可以保证所有文件在同一目录。

 

 

启动

然后,激动人心的时刻到了,所有配置都搞定了,我们可以启动了!

不过还有一件事情必须要先做, 格式化名称空间。

在NameNode上,执行如下命令:

 

  1. cd /hadoop/bin  
  2. ./hadoop namenode -format  
执行后结果如下:

 

 

然后就可以执行最后一个命令了:

 

  1. ./start-all.sh  

如果一切顺利的话,应该就成功了:

 

 

如果要关闭的话,可以执行

 

  1. ./stop-all.sh  


ref:http://blog.csdn.net/lee_leefox/article/details/7071692

分享到:
评论

相关推荐

    hadoop集群环境的搭建

    "hadoop集群环境的搭建" Hadoop 是一个开源的大数据处理框架,由Apache基金会开发和维护。它可以实现大规模数据的存储和处理,具有高可扩展性、可靠性和高性能等特点。搭建 Hadoop 集群环境是实现大数据处理的重要...

    Hadoop集群安装和搭建(全面超详细的过程) 文章目录 Hadoop集群安装和搭建(全面超详细的过程) 前言 一、虚拟机的安装

    hadoop集群搭建Hadoop集群安装和搭建(全面超详细的过程) 文章目录 Hadoop集群安装和搭建(全面超详细的过程) 前言 一、虚拟机的安装 二、Linux系统安装 1.环境准备 2.虚拟机安装 三、Centos系统安装 四、静态网络...

    hadoop集群搭建(超级详细)

    本文将详细讲解如何搭建一个Hadoop集群,包括虚拟机安装、环境配置、Hadoop和Zookeeper的安装及集群验证。以下是对每个步骤的详细说明: 一、虚拟机安装与配置 在搭建Hadoop集群之前,首先需要准备多台虚拟机。可以...

    Hadoop集群环境搭建

    Hadoop集群环境搭建是大数据处理的核心组件之一,本文将详细介绍Hadoop集群环境的搭建过程,包括集群规划、前置条件、免密登录、集群搭建、提交服务到集群等几个方面。 集群规划 在搭建Hadoop集群环境时,需要首先...

    Hadoop集群架构搭建分析

    Hadoop 集群架构搭建分析 Hadoop 集群架构搭建分析是指设计和搭建一个高效、可靠、可扩展的 Hadoop 集群环境,以满足大数据处理和分析的需求。本文将从概述、环境准备、环境搭建三个方面对 Hadoop 集群架构搭建进行...

    脚本搭建hadoop集群

    脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...

    3.基于hadoop集群搭建hbase

    ### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架,被广泛应用于各类场景之中。然而,在...

    Hadoop集群pdf文档

    Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程

    Hadoop集群搭建详细简明教程

    本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界,了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目,其核心包括两个主要组件:Hadoop Distributed File ...

    hadoop高可用集群搭建手册.docx

    Hadoop高可用集群搭建手册 本文档主要介绍了Hadoop 2.6高可用集群的搭建过程,包括集群规划、搭建准备、集群搭建和配置等步骤。下面是从中提取的知识点: 1. 集群规划 在规划Hadoop集群时,需要考虑到集群的拓扑...

    Hadoop集群搭建(全)

    Hadoop集群搭建详解 Hadoop是一个开源的分布式计算平台,由 Apache 软件基金会开发,核心组件包括HDFS(Hadoop Distributed Filesystem)和MapReduce。HDFS是一个分布式文件系统,提供了对文件系统的命名空间和...

    利用ansible 自动 安装Hadoop 集群

    Hadoop作为大数据处理的核心组件,包括HDFS(Hadoop Distributed File System)和MapReduce等模块,构建一个Hadoop集群通常涉及多台服务器的配置、软件安装、服务启动和集群配置。通过Ansible,我们可以简化这个过程...

    hadoop集群安装笔记

    Hadoop集群安装笔记是一篇详细的安装指南,旨在帮助新手快速搭建Hadoop学习环境。以下是该笔记中的重要知识点: Hadoop集群安装目录 在安装Hadoop集群之前,需要准备好安装环境。安装环境包括Java Development Kit...

    hadoop集群搭建文档资料

    6. **格式化NameNode**:首次搭建集群,需要对NameNode进行格式化,初始化HDFS的文件系统元数据。 7. **启动Hadoop服务**:在每个节点上启动Hadoop的守护进程,包括DataNode、NameNode、ResourceManager、...

    大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop

    标题中的“大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop”暗示了这是一个关于如何在大数据环境中构建Hadoop集群的教程。Hadoop是Apache软件基金会的一个开源项目,主要用于处理和存储海量数据,其分布式...

Global site tag (gtag.js) - Google Analytics