在Cent OS操作系统下配置Hadoop集群
以下集群配置内容,以两台机器为例。其中一台是namenode1,另一台是datanode1,datanode2。
namenode1上运行name node, data node, task tracker, job tracker,secondary name node;
datanode1和datanode2上运行data node, task tracker。
1. 安装jdk
yum install java-1.6.0-openjdk java-1.6.0-openjdk-devel
2. 设置环境变量
编辑/etc/profile文件,设置JAVA_HOME环境变量以及类路径
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
3. 添加host dns解析
192.168.1.10 namenode1
192.168.1.11 datanode1
192.168.1.12 datanode2
3. 创建hadoop运行账号
useradd hadoop -g root
4. 产生ssh对称密钥
cd ~ && mkdir .ssh
chmod 700 .ssh && cd .ssh
创建密码为空的RSA密钥对:ssh-keygen -t rsa
在提示的对称密钥名称中输入 id_rsa
将公钥添加至authorized_keys中:cat id_rsa.pub >> authorized_keys
测试SSH连接。连接时会提示是否连接,按回车后会将此公钥加入至knows_hosts中:
ssh localhost
5. 配置namenode1和datanode1/datanode2的ssh互通
在namenode1节点上执行步骤1-4,然后通过scp命令把公钥发送到datanode1和datanode2上,
在datanode1和datanode2中执行步骤1-4,然后通过scp命令把公钥发到namenode1上,
scp id_rsa.pub namenode1:~/.ssh/id_rsa.pub
在namenode1,datanode1,datanode2节点执行公钥导入
cat id_rsa.pub >> authroized_keys
测试ssh连接:
在namenode1上执行: ssh datanode1, ssh datanode2
在datanode1/datanode2上执行: ssh namenode1
如果连接过程都不需要输入密码,说明设置成功,否则检查并请重新执行1-4步动作。
6. 安装hadoop
wget http://www.fayea.com/apache-mirror/hadoop/common/stable/hadoop-1.0.4-bin.tar.gz
tar zxvf hadoop-1.0.4-bin.tar.gz
7. 配置hadoop环境变量
编辑conf/hadoop-env.sh文件,设置JAVA_HOME为第2步指定的值
8. 修改hadoop配置文件
修改conf/core-site.xml文件如下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://namenode1:9000</value> </property> </configuration>修改conf/hdfs-site.xml文件如下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.name.dir</name> <value>/home/hadoop/dfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>修改mapred-site.xml文件如下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>namenode1:9001</value> </property> </configuration>修改conf/master文件:把localhost换成namenode1
相关推荐
本文将深入探讨“Hadoop集群配置文件备份”的重要性、步骤和最佳实践。 **1. Hadoop配置文件概述** Hadoop的配置文件主要包括`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`、`mapred-site.xml`等,这些XML...
hadoop集群配置,详细安装教程,超详细的的资源将被移除
《Hadoop集群配置及MapReduce开发手册》是针对大数据处理领域的重要参考资料,主要涵盖了Hadoop分布式计算框架的安装、配置以及MapReduce编程模型的详细解析。Hadoop作为Apache基金会的一个开源项目,因其分布式存储...
hadoop集群配置范例及问题总结 Hadoop集群配置是大数据处理的关键步骤,本文将详细介绍Hadoop集群配置的步骤和注意事项。 一、硬件环境配置 Hadoop集群需要多台机器组成,通常使用虚拟机来模拟多台机器。 VMware ...
hadoop集群配置文档
Hadoop集群配置范例及问题总结 Hadoop集群配置是一个复杂的过程,需要详细的规划和实施。以下是Hadoop集群配置的相关知识点: 1. 硬件环境:Hadoop集群需要至少两台机器,安装ubuntu11操作系统,并采用桥接模式,...
Hadoop 集群配置是一个复杂的过程,涉及到多台服务器之间的通信和数据存储。在这个详解中,我们将深入理解如何在Fedora和Ubuntu系统上搭建一个Hadoop集群。 首先,为了确保集群中的节点能够相互识别,我们需要配置...
在Hadoop集群配置过程中,安装和配置Hive是一个重要环节。这个过程中需要保证Hadoop集群本身已经搭建好并且运行正常。在安装Hive之前,一般需要先安装和配置好MySQL数据库,因为Hive会使用MySQL来存储其元数据。元...
hadoop配置详细教程,涵盖了Hadoop集群配置从头到尾的所有细节部署,其中注意点已用红色标记,此文档曾用于企业Hadoop集群搭建教程,涵盖了 准备篇---配置篇----启动测试篇---问题篇,解决网络上Hadoop集群配置教程...
### Hadoop集群配置及MapReduce开发手册知识点梳理 #### 一、Hadoop集群配置说明 ##### 1.1 环境说明 本手册适用于基于CentOS 5系统的Hadoop集群配置,具体环境配置如下: - **操作系统**:CentOS 5 - **JDK版本...
Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...
【基于CentOS 7的Hadoop集群配置的研究与实现】 Hadoop是一个开源的分布式计算框架,主要用于处理和存储大规模数据。本论文详细探讨了在CentOS 7操作系统上配置和实施Hadoop集群的过程,这对于理解和掌握大数据处理...
### Eclipse链接Hadoop集群配置详解 #### 一、前言 在大数据处理领域,Hadoop因其卓越的分布式处理能力而备受青睐。为了更好地利用Hadoop的强大功能,开发人员经常需要在本地开发环境中与Hadoop集群进行交互。本文...
hadoop集群配置 很实用的入门参考书