`

Hadoop2.5.2完全分布式集群安装

阅读更多
《Hadoop2.5.2集群安装》

1、环境介绍
操作系统:CentOS  X64 6.5
物理机器:192.168.170.130(node1)、192.168.170.131(node2)、192.168.170.132(node3)
JDK版本:JDK7.X
Hadoop版本:Hadoop2.5.2

2、修改主机名称和host名称
通过命令“hostname”查看当前机器的机器名称,然后分别在node1、node2、node3机器的/etc/sysconfig/network文件上修改下主机名称(非必须)并保存,如下所示:
NETWORKING=yes
HOSTNAME=node1

NETWORKING=yes
HOSTNAME=node2

NETWORKING=yes
HOSTNAME=node3

3、修改hosts文件
分别在node1、node2、node3机器上修改下hosts文件并保存,如下所示:
etc/hosts
192.168.170.130  node1
192.168.170.131  node2
192.168.170.132  node3

#然后可以ping一下,确保各节点可以正常ping通


4、确保JDK成功安装并可用
当成功在node1、node2、node3机器上安装JDK后(笔者使用JDK7.x),还需要在“/etc/profile”文件中配置Java的环境变量,并通过命令“source “/etc/profile”命令使修改后的配置生效

,如下所示:
Shell代码  收藏代码
#JAVA 
export JAVA_HOME=/usr/java/jdk1.7.0_79  
export PATH=$JAVA_HOME/bin:$PATH  
#export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5、Haddop的安装
使用命令“tar -zxvf”命令将gz压缩文件解压。笔者Hadoop的安装目录为:“/opt”,解压后的Hadoop目录为“/opt/hadoop-2.5.2”更换为“/opt/hadoop”,最好确保node1、node2、

node3机器上的Hadoop安装路径一致。

6、配置Hadoop环境变量
成功安装Hadoop后,接下来要做的事情就是配置Hadoop的环境变量,并通过命令 cd ~ 进入用户目录,设置用户环境变量vim .bashrc;  然后source ~/.bashrc使修改生效(也可设置系统环

境变量,所有用户都可以用“source “/etc/profile”)命令使修改后的配置生效,如下所示:

#HADOOP set 150816
export HADOOP_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME


#这个配置好像有点问题
#export HADOOP_HOME=/opt/hadoop
#export HADOOP_COMMON_HOME=$HADOOP_HOME 
#export HADOOP_HDFS_HOME=$HADOOP_HOME 
#export HADOOP_MAPRED_HOME=$HADOOP_HOME 
#export HADOOP_YARN_HOME=$HADOOP_HOME 
#export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 
#export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH 
#export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
7、修改Hadoop的一系列配置文件


core-site.xml
<configuration>
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://node1:9000</value>     
  </property>
</configuration>

hdfs-site.xml
<property> 
        <name>dfs.replication</name>   
        <value>1</value> 
    </property> 
    <property> 
        <name>dfs.namenode.name.dir</name>         
        <value>file:///home/hadoop/dfs/name</value> 
    </property> 
    <property> 
        <name>dfs.datanode.data.dir</name> 
        <value>file:///home/hadoop/dfs/data</value> 
    </property> 
    <property> 
        <name>dfs.webhdfs.enabled</name> 
        <value>true</value> 
    </property>
   #保存文件的副本数目
   <property>
     <name>dfs.replication</name>
     <value>2</value>
   </property>


mapred-site.xml
<property> 
    <name>mapreduce.framework.name</name> 
    <value>yarn</value>
</property>
<property> 
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
</property>  

yarn-site.xml
<property>   
    <name>yarn.nodemanager.aux-services</name>   
    <value>mapreduce_shuffle</value>   
</property>   
<property>   
    <name>yarn.resourcemanager.address</name>   
    <value>node1:8032</value>   
</property>   
<property>   
    <name>yarn.resourcemanager.scheduler.address</name>   
    <value>node1:8030</value>   
</property>   
<property>   
    <name>yarn.resourcemanager.resource-tracker.address</name>   
    <value>node1:8031</value>   
</property>   
<property>   
    <name>yarn.resourcemanager.admin.address</name>   
    <value>node1:8033</value>   
</property>   
<property>   
    <name>yarn.resourcemanager.webapp.address</name>   
    <value>node1:8088</value>   
</property>


/opt/hadoop/etc/hadoop/slaves修改,如下所示:
node2 
node3

分别在/opt/hadoop/etc/hadoop/hadoop-env.sh和yarn-env.sh中配置Java环境变量,如下所示:
export JAVA_HOME=/usr/local/jdk17

***三台节点并配置免密码登录***:
  [cd ~    ssh-keygen -t rsa  --执行完这句,按三次回车即可生成公钥与私钥 ]
  [scp ~/.ssh/id_rsa.pub hadoop@node2:/~/.ssh/authorized_keys]
   验证hadoop用户的ssh免登录认证

8、将配置好的Hadoop拷贝到从机上
scp -r ./hadoop hadoop@node2:/opt和 scp -r ./hadoop hadoop@node3:/opt


9、启动Hadoop
在正式 启动Hadoop之前,分别在node1、node2、node3机器上格式化HDFS,如下所示:
Shell代码  收藏代码
hdfs namenode -format 

当成功格式化后,接下来便可以在node1上通过命令“start-all.sh”启动Hadoop,同时也可以通过“stop-all.sh”停止Hadoop运行(会由node1负责带动node2,3节点的启动和停止)。

当成功启动Hadoop后,我们便可以在每一个节点下执行命令jps,查看Hadoop的进程,如下所示:
Shell代码  收藏代码
#node1上的Hadoop进程 
30791 SecondaryNameNode 
30943 ResourceManager 
30607 NameNode 
 
#node2上的Hadoop进程 
9902 DataNode 
10001 NodeManager 
 
#node3上的Hadoop进程 
9194 DataNode 
9293 NodeManager 

除此之外,开发人员还可以通过http://ip:50070、http://ip:8088、http://ip:19888,通过浏览器查阅Hadoop集群中每一个节点的运行状态。

pro:
1.Name node is in safe mode
  bin/hadoop fs -put ../input ./in
  将本地文件拷贝到hdfs上去,结果上错误:Name node is in safe mode
  可以通过以下命令来手动离开安全模式:
  bin/hadoop dfsadmin -safemode leave 
  用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下:
  enter - 进入安全模式
  leave - 强制NameNode离开安全模式
  get - 返回安全模式是否开启的信息
  wait - 等待,一直到安全模式结束。

bin/hadoop fs -put ../input ./in 拷贝input目录内文件到hdfs的in目录下
2.bin/hadoop fs -ls ./in/*     查看某个hdfs目录下面文件信息



--------------hadoop集群安装发生错误start
bin/hadoop fs -ls
当没有列出fdfs下面的文件时,可以切换到hadoop的logs下用tail -f hadoop-hadoop-datanode-node2.log -n 300查看报的错误信息。
查看hdfs-site.xml中配置的namenode 和data.dir是否都在相应目录中已创建。

到hadoop目录logs下  tail -f hadoop-hadoop-datanode-node2.log -n 300
2015-08-17 21:16:40,001 ERROR org.apache.hadoop.hdfs.server.common.Util: Syntax error in URI >file:///home/hadoop/dfs/data. Please check hdfs configuration.
java.net.URISyntaxException: Illegal character in scheme name at index 0: >file:///home/hadoop/dfs/data

cat hdfs-site.xml -A 查看此配置文件每行是否有空格。

---------------hadoop集群安装发生错误end

-------------------------------华丽丽的扩展部分-----------------------------
在hdfs上创建文件夹
  $ bin/hdfs dfs -mkdir /user
  $ bin/hdfs dfs -mkdir /user/<username>
查看hdfs上创建的文件夹 bin/hadoop fs -ls /
yarn
$ sbin/start-yarn.sh
进入监控页查看 - http://localhost:8088/
关闭:
$ sbin/stop-dfs.sh
$ sbin/stop-yarn.sh

修改自:http://gao-xianglong.iteye.com/blog/2189773
分享到:
评论

相关推荐

    2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程

    2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创

    3、大数据环境-安装Hadoop2.5.2完全分布式傻瓜教程(Virtual5+CentOS6.8).

    这份教程不是独立的完全分布式安装教程,而是在先前已经安装了VirtualBox5和CentOS6.8以及安装了Hadoop2.5.2伪分布式集群教程的基础上进行的。 知识点详细解析如下: 1. 大数据环境和Hadoop基础知识:Hadoop是一个...

    Hadoop2完全分布式集群搭建

    "Hadoop2完全分布式集群搭建" Hadoop2是一个基于分布式计算的开源大数据处理框架,具有高可扩展性、可靠性和高性能等特点。下面是关于Hadoop2完全分布式集群搭建的知识点总结: 1. 前序 在搭建Hadoop2完全分布式...

    hadoop2.8.4完全分布式集群搭建

    本人搭建hadoop完全分布式集群时,写的文档,内有详细步骤,

    Hadoop系统完全分布式集群搭建方法

    本文档详细介绍了如何搭建Hadoop完全分布式集群,包括安装Linux操作系统、设置静态IP、安装SSH并配置免密码访问机制、配置Hadoop集群等步骤。本文档旨在帮助Hadoop初学者快速搭建Hadoop集群环境。 一、安装Linux...

    Hadoop-0.21.0分布式集群配置

    Hadoop-0.21.0分布式集群配置.doc

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程

    Hadoop搭建完全分布式集群

    总结来说,搭建一个完全分布式的Hadoop集群需要对Linux、Java和Hadoop的原理有深入的理解。这是一个涉及多步骤的过程,每一步都需要谨慎操作。通过这样的集群,企业可以处理PB级别的数据,实现高效的数据分析和挖掘...

    Hadoop实战之Hadoop完全分布式集群安装.pdf

    Hadoop实战之Hadoop完全分布式集群安装.pdf

    hadoop完全分布式集群搭建笔记

    本文详细介绍了Hadoop完全分布式集群的搭建过程,包括环境准备、网络配置、JDK安装与配置、Hadoop安装与配置以及集群启动和验证等关键步骤。通过这些步骤,可以成功搭建一个功能完备的Hadoop分布式集群,为后续的大...

    hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx

    在搭建Hadoop 2.5.2环境的过程中,我们需要经历几个关键步骤,包括本地模式、伪分布式集群和分布式集群的设置,以及HDFS系统的高可用性配置。首先,确保你的系统已经安装了JDK 1.8,因为Hive等组件需要1.7以上的版本...

    hadoop HA高可用性完全分布式集群安装

    ### hadoop HA高可用性完全分布式集群安装 在大数据处理领域,Hadoop作为一个开源软件框架,主要用于分布式存储和处理大规模数据集。为了提高系统的稳定性和可靠性,Hadoop提供了高可用性(High Availability,简称...

    hadoop完全分布式集群搭建

    ### Hadoop完全分布式集群搭建详解 #### 一、前言及环境准备 在开始搭建Hadoop完全分布式集群之前,需要确保已经准备好相应的硬件资源和软件环境。本篇指南旨在为初学者提供一个全面且详细的Hadoop集群搭建流程,...

    第10章Hadoop与HBase分布式集群安装与配置.pdf

    在本章节中,将详细介绍如何安装和配置基于Hadoop3.x的分布式集群以及如何在该集群上安装和配置HBase。 在开始之前,需要完成几个关键步骤,包括节点规划、用户环境设置、网络配置和Java环境安装。节点规划涉及对...

    Hadoop完全分布式集群安装及配置.docx

    "Hadoop完全分布式集群安装及配置" 本文档提供了Hadoop完全分布式集群的安装和配置步骤,包括三台虚拟机的配置、主机名的设置、hosts文件的配置、防火墙的关闭、NTP服务的安装和配置、免密码登录的配置、JDK的安装...

    eclipse开发hadoop2.5.2所用到都jar

    标题 "eclipse开发hadoop2.5.2所用到的jar" 指的是在Eclipse中进行Hadoop 2.5.2开发时所需的特定版本的JAR文件集合。这些JAR文件通常包括以下几个部分: 1. Hadoop Common:这是Hadoop的基础模块,包含了一般用途的...

    Spark+hadoop+scala 完全分布式集群搭建过程及启动过程

    对于想学习 Spark 的人而言,如何构建 Spark 集群是其最大的难点之一, 为了解决大家构建 Spark 集群的一切困难,Spark 集群的构建分为了五个步骤,从 零起步,不需要任何前置知识,涵盖操作的每一个细节,构建完整...

    Hadoop技术-Hadoop完全分布式安装.pptx

    "Hadoop技术-Hadoop完全分布式安装" Hadoop技术是当前最流行的分布式计算框架之一,广泛应用于数据存储、数据处理和数据分析等领域。Hadoop完全分布式安装是指在多台机器上安装和配置Hadoop,以便更好地处理大规模...

    VM+CentOS+hadoop2.7搭建hadoop完全分布式集群

    ### 基于VM+CentOS+hadoop2.7搭建Hadoop完全分布式集群的知识点解析 #### 一、概述 本文旨在详细介绍如何使用VMware Workstation(简称VM)结合CentOS 6.5操作系统来搭建Hadoop 2.7的完全分布式集群。此文档是根据...

Global site tag (gtag.js) - Google Analytics