`

Redhat上Hadoop2.2.0安装配置说明

阅读更多

Redhat上Hadoop2.2.0安装配置说明
1. 建立用户,用户组都为hadoop
创建组:groupadd hadoop,
创建用户:useradd -g hadoop hadoop
设置用户密码:passwd hadoop
2. 修改主机名
# hostname Master
#vim /etc/sysconfig/network
HOSTNAME=Master
所有namenode和datanode都要配置主机名
3. 修改host文件
#vim /etc/hosts
在文件里面添加类似如下配置:
192.168.13.62 Master
192.168.13.63 Slave01
192.168.13.64 Slave02
并用scp命令复制到其他所有机器,即所有namenode和datanode做相同配置
4. 关闭防火墙
1) 查看防火墙是是否已关闭:
执行 chkconfig iptables status,如果得到哪下图所示,则表示防火墙已关闭,否则表示已启动防火墙


执行 Chkconfig --list | grep iptables,得到如下结果,如果3和5都为on,表示开机自动启动防火墙

2) 关闭防火墙方法:
永久性生效的方法: 
开启: chkconfig iptables on
关闭: chkconfig iptables off

即时生效,重启后失效的方法
开启: service iptables start
关闭: service iptables stop

Redhat 使用了Selinux来增强安全性,其关闭的办法为:
1) 永久有效:
Vi /etc/selinux/config 将其中SELINUX=”” 值 改为disabled
2) 即时生效
Set enforce 0
3) 查看selinux状态命令
Sestatus,如下图所示,则表示已关闭


5. 配置SSH无密码登陆
1) 登录到master机器,然后进入到/home/hadoop/目录,
2) 创建.ssh目录:mkdir .ssh
3) 进入.ssh目录,执行ssh-keygen –t rsa命令,生成密钥文件
4) 进入.ssh目录,执行ssh-keygen –t dsa命令,生成密钥文件
5) 在.ssh目录下生成了id_rsa  id_rsa.pub 和id_dsa  id_dsa.pub四个文件
6) 把 id_rsa.pub 和 id_dsa.pub追加到授权的 key 里面去。 执行命令 cat      /home/hadoop/.ssh/id_rsa.pub  >> /home/hadoop/.ssh/authorized_keys
7) 执行ssh localhost 如果不需要输入密码,则表示密钥生成成功
8) 修改权限: 执行 chmod 600  /home/hadoop/.ssh/authorized_keys
9) 将公钥复制到所有的 slave 机器上 :scp /home/hadoop/.ssh/authorized_keys hadoop@192.168.13.63:/home/hadoop/.ssh /   
然后 输入 yes ,最后 输入 Slave01机器的密码
10) 在master主机上执行: ssh Slave01 ,如果不需要输入密码,则表示配置成功
11) 进入所有datanode机器,然后从第3)步重复执行,即生成密钥文件,将id_rsa.pub,id_dsa.pub两个文件复制到master节点上,并将其追加到master节点的/home/hadoop/.ssh/authorized_keys文件中
12) 然后分别在datanode上使用ssh master命令,如果无需输入密码,则表示namenode与所有datanode节点相互通信都已打通,无需密码
6. 安装hadoop程序
1) 安装JDK,这里就省略具体安装说明
2) 上传hadoop安装程序hadoop-2.2.0.tar.gz到master服务器上的/home/hadoop/目录下
3) 执行tar –zxvf hadoop-2.2.0.tar.gz 解压,会在/home/hadoop/目录下生成hadoop-2.2.0目录
4) 修改hadoop-2.2.0/etc/hadoop/hadoop-env.sh
修改JAVA_HOME值(export JAVA_HOME=/home/hadoop/jdk1.6.0_06)
5) 修改hadoop-2.2.0/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
      <property>
           <name>fs.defaultFS</name>
           <value>hdfs://192.168.13.62:9000</value>
      </property>
     <property>
            <name>io.file.buffer.size</name>
             <value>131072</value>
        </property>
     <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/hadoop-2.2.0/hadoop_tmp</value>
     </property>
     <property>
           <name>hadoop.proxyuser.hadoop.hosts</name>

           <value>*</value>
    </property>
    <property>
           <name>hadoop.proxyuser.hadoop.groups</name>
           <value>*</value>
   </property>
</configuration>

配置该文件时,要在/home/hadoop/hadoop-2.2.0目录下建立临时目录hadoop_tmp
6) 修改hadoop-2.2.0/etc/hadoop/slaves,将datanode节点配置到该文件中,其内容如下:
Slave01
Slave02
7) 修改配置文件hadoop-2.2.0/etc/hadoop/hdfs-site.xml
<configuration>

<property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>192.168.13.62:9001</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hdfs/name</value>
</property>

    <property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hdfs/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

</configuration>
8) 修改hadoop-2.2.0/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.13.62:10020</value>
</property>
<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>192.168.13.62:19888</value>
   </property>
</configuration>
9) 修改hadoop-2.2.0/etc/hadoop/yarn-env.sh
export JAVA_HOME=/home/hadoop/jdk1.6.0_06/
10) 修改hadoop-2.2.0/etc/hadoop/yarn-site.xml
<configuration>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
   <name>yarn.resourcemanager.address</name>
   <value>192.168.13.62:8032</value>
   </property>
   <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>192.168.13.62:8030</value>
   </property>
   <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>192.168.13.62:8031</value>
   </property>
   <property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>192.168.13.62:8033</value>
   </property>
   <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>192.168.13.62:8088</value>
   </property>
</configuration>
11) 复制hadoop-2.2.0目录到所有datanode机器上的/home/hadoop/目录下
scp -r /home/hadoop/hadoop-2.2.0 hadoop@Slave01: /home/hadoop/
scp -r /home/hadoop/hadoop-2.2.0 hadoop@Slave02: /home/hadoop/

后期如果要修改相关配置文件,可以写一个脚本,批量复制到各个节点服务器上,如下内容:
一、节点之间传递数据:
第一步:vi scp.sh
第二步:把下面内容放到里面(记得修改下面红字部分,改成自己的)
#!/bin/bash
#slave1
scp /home/hadoop/hadoop-2.2.0/etc/hadoop/core-site.xml hadoop@slave01:~/
scp /home/hadoop/hadoop-2.2.0/etc/hadoop/hdfs-site.xml hadoop@slave01:~/                     
#slave2
scp /home/hadoop/hadoop-2.2.0/etc/hadoop/core-site.xml hadoop@slave02:~/
scp /home/hadoop/hadoop-2.2.0/etc/hadoop/hdfs-site.xml hadoop@slave02:~/
第三步:保存scp.sh
第四步:bash scp.sh执行

12) 配置环境变量
登录master机器,在/home/hadoop/目录下,编辑.bash_profile文件,添加如下内容:
export PATH
export JAVA_HOME=/home/hadoop/jdk1.6.0_06
export CLASS_PATH=JAVA_HOME/lib;$JAVA_HOME/jre/lib
export JAVA_HOME CLASSPATH TOMCAT_HOME

export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$JAVA_HOME/j

export HADOOP_DEV_HOME=/home/hadoop/hadoop-2.2.0
export PATH=$PATH:$HADOOP_DEV_HOME/bin
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
运行 source .bash_profile 使得环境变量立即生效
13) 在master机器格式化,hdfs必须先格式化才能用
hadoop namenode format
14) 启动hdfs:进入/home/hadoop/hadoop-2.2.0/sbin目录下,运行
./start-dfs.sh
15) 启动yarn
./start-yarn.sh
16) master有如下进程

17) slave01有如下进程


此时hadoop集群已全部配置完成!!!

7. 验证部署是否成功
1) 输入http://192.168.13.62:8088/cluster 查看yarn是否正常部署



2) 验证hdfs文件系统
hadoop fs -mkdir hdfs://192.168.13.62:9000/testfolder 创建testfolder目录

hadoop fs -ls hdfs://192.168.13.62:9000/  列出所有文件列表

3) http://192.168.13.62:50070/dfshealth.jsp 查看hdfs节点运行状态




 

  • 大小: 225.1 KB
  • 大小: 215.9 KB
分享到:
评论

相关推荐

    RedHat下安装hadoop集群

    在redhat下安装hadoop集群,文件中包括设置静态ip,jdk安装,内含截图,详细指导。

    超详细的在RedHat6.2上配置Hadoop群集环境步骤

    在Red Hat 6.2上配置Hadoop集群环境是一个复杂的过程,涉及到多个步骤和技术细节。以下是对这个过程的详细说明: 首先,你需要在VMware Workstation 8上创建虚拟机,用于部署Linux Red Hat 6.2操作系统。创建虚拟机...

    Hadoop安装教程_单机_伪分布式配置

    ### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...

    linux下tomcat+JDK+redhat配置文档+安装软件

    linux下tomcat+JDK+redhat配置文档+安装软件linux下tomcat+JDK+redhat配置文档+安装软件linux下tomcat+JDK+redhat配置文档+安装软件linux下tomcat+JDK+redhat配置文档+安装软件linux下tomcat+JDK+redhat配置文档+...

    Redhat下安装hadoop

    介绍Redhat下安装hadoop具体步骤

    hadoop 单机安装和集群安装总结

    本文档主要针对Hadoop的安装和配置过程进行了详细的说明,旨在简化Hadoop的部署流程。它覆盖了Hadoop单机安装以及集群安装的过程,并且适用于CentOS 5/RedHat 5.2(32位/64位)及Ubuntu等操作系统。 #### 二、...

    RedHatlinux下安装hadoop

    资源名称:RedHat linux下安装hadoop内容简介: hadoop安装有三种模式:单机模式,伪分布式,完全分布式。本文档主要讲述的是RedHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试;感兴趣的...

    RedHat Linux9.0安装和配置步骤

    RedHat Linux 9.0 安装和配置步骤 RedHat Linux 9.0 安装和配置步骤主要包括安装前的准备、确认安装方式、安装 RedHat Linux 9.0 等几个方面。 一、安装前的准备 在安装 RedHat Linux 9.0 之前,需要检查硬件支持...

    Hadoop on redhat enterprise 5.4部署安装手记

    本篇手记详细记录了在RedHat Enterprise 5.4上部署Hadoop集群的步骤,这对于希望构建稳定且高效云计算平台的IT专业人员来说具有很高的参考价值。选择RedHat Enterprise 5.4作为虚拟机平台主要是考虑其商业支持和稳定...

    VMWare Workstation安装和配置Hadoop群集环境

    本文主要介绍了使用VMWare Workstation安装和配置Hadoop群集环境的步骤,包括安装 VMWare Workstation、Redhat Linux 9.0、JDK 1.6.0_25和Hadoop 0.21.0等软件的安装和配置,以及虚拟机的网络连接方式和IP地址的设置...

    Hadoop分布式集群配置指南

    在Master节点和所有Slave节点上安装Hadoop,具体安装步骤如下: 1. 将hadoop-1.0.3.tar.gz解压到要安装的路径中。 2. 解压完成后修改/etc/profile文件并添加以下语句: ``` HADOOP_HOME=/hadoop安装路径/hadoop-...

    LinuxRedHat、CentOS上搭建Hadoop集群.pdf

    搭建Hadoop集群在LinuxRedHat、CentOS上的实现 ...搭建Hadoop集群需要安装和配置Hadoop、JDK、SSH和rsync等软件,配置Hadoop核心配置文件,并启动Hadoop集群。通过本文的指导,读者可以轻松地搭建一个Hadoop集群。

    VMWare Workstation安装redhat和配置Hadoop群集环境

    详细的虚拟机上安装redhat,一个namenode 两台datanode,以及相关hadoop详细配置文档

    RedHatlinux9.0下Hadoop单机配置归类.pdf

    RedHat Linux 9.0 下 Hadoop 单机配置归类 Hadoop 是一个基于 Java 的分布式计算平台,由 Apache 开发,用于存储和处理大量数据。下面是 Red Hat Linux 9.0 下 Hadoop 单机配置的步骤和要求。 Hadoop 安装前提 1....

    Redhat下Fastdfs安装配置及nginx模块安装配置文档.pdf

    在本文档中,我们详细讨论了如何在Redhat操作系统上安装和配置FastDFS以及其Nginx模块。FastDFS是一个开源的高性能、轻量级的分布式文件系统,主要用于解决大容量存储和负载均衡的问题。以下是安装和配置FastDFS及其...

    RedHat下安装及配置telnet

    在RedHat下安装及配置telnet服务是一项基本的网络管理技能,尤其对于系统管理员来说,掌握这一技术可以极大地提升远程管理服务器的效率。本文将基于给定文件的信息,详细阐述在RedHat环境下如何安装、配置telnet服务...

    Linux_Redhat5下手工安装配置PHP+Mysql+Apche--LAMP环境搭建(转)

    ### Linux Redhat5下手工安装配置PHP+MySQL+Apache -- LAMP环境搭建 本文将详细介绍如何在Redhat5系统上手动搭建LAMP(Linux + Apache + MySQL + PHP)环境。LAMP是一种流行的开源Web服务器软件堆栈组合,适用于...

    HADOOP安装部署文档

    本文将详细介绍如何在Linux环境下安装和部署Hadoop,包括硬件环境准备、目录结构规划、SSH设置、环境变量配置、Hadoop配置文件的编辑以及Hadoop的启动和基本操作。 首先,下载Hadoop安装文件。Apache官方提供了不同...

    大神总结的RedHat Linux操作系统安装规范

    安装存储类型的选择上,对于新手安装者,推荐使用基础存储设备选项,因为这会自动配置好必要的分区和文件系统。在选择是否清除现有数据时,因为是新安装系统,所以应选择清除现有数据选项。主机名应配置为合适的名称...

Global site tag (gtag.js) - Google Analytics