`

Hadoop集群配置

阅读更多

在Cent OS操作系统下配置Hadoop集群

 

 

以下集群配置内容,以两台机器为例。其中一台是namenode1,另一台是datanode1,datanode2。

 

namenode1上运行name node, data node, task tracker, job trackersecondary name node

datanode1和datanode2上运行data node, task tracker

1. 安装jdk

yum install java-1.6.0-openjdk java-1.6.0-openjdk-devel

 

2. 设置环境变量

编辑/etc/profile文件,设置JAVA_HOME环境变量以及类路径

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

 

3. 添加host dns解析

192.168.1.10   namenode1

192.168.1.11   datanode1

192.168.1.12   datanode2

 

3. 创建hadoop运行账号

useradd hadoop -g root

 

4. 产生ssh对称密钥

cd ~ && mkdir .ssh

chmod 700 .ssh && cd .ssh

 

创建密码为空的RSA密钥对:ssh-keygen -t rsa

在提示的对称密钥名称中输入 id_rsa
将公钥添加至authorized_keys中:cat id_rsa.pub >> authorized_keys


测试SSH连接。连接时会提示是否连接,按回车后会将此公钥加入至knows_hosts中:
ssh localhost

 

5. 配置namenode1和datanode1/datanode2的ssh互通

在namenode1节点上执行步骤1-4,然后通过scp命令把公钥发送到datanode1和datanode2上,

在datanode1和datanode2中执行步骤1-4,然后通过scp命令把公钥发到namenode1上,

scp id_rsa.pub namenode1:~/.ssh/id_rsa.pub

 

在namenode1,datanode1,datanode2节点执行公钥导入

cat id_rsa.pub >> authroized_keys

 

测试ssh连接:

在namenode1上执行: ssh datanode1, ssh datanode2

在datanode1/datanode2上执行: ssh namenode1

 

如果连接过程都不需要输入密码,说明设置成功,否则检查并请重新执行1-4步动作。

 

6. 安装hadoop

wget http://www.fayea.com/apache-mirror/hadoop/common/stable/hadoop-1.0.4-bin.tar.gz

tar zxvf hadoop-1.0.4-bin.tar.gz

 

7. 配置hadoop环境变量

编辑conf/hadoop-env.sh文件,设置JAVA_HOME为第2步指定的值

 

8. 修改hadoop配置文件

修改conf/core-site.xml文件如下:

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
         <name>fs.default.name</name>
         <value>hdfs://namenode1:9000</value>
    </property>
</configuration>
 修改conf/hdfs-site.xml文件如下:

 

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>dfs.name.dir</name>
		<value>/home/hadoop/dfs/name</value>
	</property>
	<property>
		<name>dfs.data.dir</name>
		<value>/home/hadoop/dfs/data</value>
	</property>
	<property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>
 修改mapred-site.xml文件如下:

 

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
         <name>mapred.job.tracker</name>
         <value>namenode1:9001</value>
    </property>
</configuration>
 修改conf/master文件:把localhost换成namenode1
 修改conf/slaves文件:把localhost换成datanode1和datanode2,每个节点一行

9. 同步配置

用下面的脚本完成所有hadoop节点的配置

 

hadoop_home='/home/hadoop/hadoop-1.0.4'
for host in `cat ${hadoop_home}/conf/slaves`
do
  echo ------------------------------------------------------------------
  echo rsync host:   $host
  ssh $host 'rm -fr $hadoop_home'
  rsync -avz $hadoop_home/*  $host:$hadoop_home
done

 

 

10. 格式化名称节点

$ bin/hadoop namenode -format

 

11. 启动hadoop服务

$ bin/start-all.sh

日志文件写入${hadoop_home}/logs.

从浏览器可以访问名称节点和任务检查web接口(应能看到两个数据节点,如果只有1个,说明配置不对):

12. 测试hadoop服务

拷贝本地文件到hdsf文件系统中:$ bin/hadoop fs -put conf input

启动测试程序:$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

可以从web接口中查看任务运行状态,等待任务完成后,查看结果

$ bin/hadoop fs -cat output/*

 

13. 停止hadoop服务

$ bin/stop-all.sh

 

分享到:
评论

相关推荐

    Hadoop集群配置文件备份

    本文将深入探讨“Hadoop集群配置文件备份”的重要性、步骤和最佳实践。 **1. Hadoop配置文件概述** Hadoop的配置文件主要包括`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`、`mapred-site.xml`等,这些XML...

    hadoop集群配置

    hadoop集群配置,详细安装教程,超详细的的资源将被移除

    Hadoop集群配置及MapReduce开发手册

    《Hadoop集群配置及MapReduce开发手册》是针对大数据处理领域的重要参考资料,主要涵盖了Hadoop分布式计算框架的安装、配置以及MapReduce编程模型的详细解析。Hadoop作为Apache基金会的一个开源项目,因其分布式存储...

    hadoop集群配置范例及问题总结.pdf

    hadoop集群配置范例及问题总结 Hadoop集群配置是大数据处理的关键步骤,本文将详细介绍Hadoop集群配置的步骤和注意事项。 一、硬件环境配置 Hadoop集群需要多台机器组成,通常使用虚拟机来模拟多台机器。 VMware ...

    hadoop集群配置文档

    hadoop集群配置文档

    hadoop集群配置范例及问题总结.docx

    Hadoop集群配置范例及问题总结 Hadoop集群配置是一个复杂的过程,需要详细的规划和实施。以下是Hadoop集群配置的相关知识点: 1. 硬件环境:Hadoop集群需要至少两台机器,安装ubuntu11操作系统,并采用桥接模式,...

    hadoop集群配置详解

    Hadoop 集群配置是一个复杂的过程,涉及到多台服务器之间的通信和数据存储。在这个详解中,我们将深入理解如何在Fedora和Ubuntu系统上搭建一个Hadoop集群。 首先,为了确保集群中的节点能够相互识别,我们需要配置...

    hadoop集群配置之———hive安装与配置(超详细)

    在Hadoop集群配置过程中,安装和配置Hive是一个重要环节。这个过程中需要保证Hadoop集群本身已经搭建好并且运行正常。在安装Hive之前,一般需要先安装和配置好MySQL数据库,因为Hive会使用MySQL来存储其元数据。元...

    Hadoop集群配置详细教程

    hadoop配置详细教程,涵盖了Hadoop集群配置从头到尾的所有细节部署,其中注意点已用红色标记,此文档曾用于企业Hadoop集群搭建教程,涵盖了 准备篇---配置篇----启动测试篇---问题篇,解决网络上Hadoop集群配置教程...

    hadoop集群配置及mapreduce开发手册

    ### Hadoop集群配置及MapReduce开发手册知识点梳理 #### 一、Hadoop集群配置说明 ##### 1.1 环境说明 本手册适用于基于CentOS 5系统的Hadoop集群配置,具体环境配置如下: - **操作系统**:CentOS 5 - **JDK版本...

    Hadoop集群pdf文档

    Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...

    基于CentOS 7的Hadoop集群配置的研究与实现.docx

    【基于CentOS 7的Hadoop集群配置的研究与实现】 Hadoop是一个开源的分布式计算框架,主要用于处理和存储大规模数据。本论文详细探讨了在CentOS 7操作系统上配置和实施Hadoop集群的过程,这对于理解和掌握大数据处理...

    Eclipse链接Hadoop集群配置.docx

    ### Eclipse链接Hadoop集群配置详解 #### 一、前言 在大数据处理领域,Hadoop因其卓越的分布式处理能力而备受青睐。为了更好地利用Hadoop的强大功能,开发人员经常需要在本地开发环境中与Hadoop集群进行交互。本文...

    hadoop集群配置.pdf

    hadoop集群配置 很实用的入门参考书

Global site tag (gtag.js) - Google Analytics