`
dmcp
  • 浏览: 24399 次
  • 性别: Icon_minigender_1
  • 来自: 广州
文章分类
社区版块
存档分类
最新评论

Hadoop 2.2.0版本HDFS的HA配置

 
阅读更多

注：以下配置描述的是HDFS的QJM方式的HA配置。

1.1 zookeeper集群配置

这里我使用了三台机器(在笔记本上使用vmware创建了三个虚拟机来实现)部署zookeeper集群，机器IP分别是：

l192.168.111.130(hostname：hd0)

l192.168.111.131(hostname：hd1)

l192.168.111.132(hostname：hd2)

首先建立zookeeper的数据目录，比如：

mkdir -p /opt/hadoop/data/zookeeper

同时建立日志存放目录：

mkdir –p /opt/hadoop/logs/zookeeper

然后修改环境变量（比如修改~/.profile），增加如下变量：

export ZOO_HOME=/opt/hadoop/apps/zookeeper-3.4.5

export ZOO_LOG_DIR=/opt/hadoop/logs/zookeeper

在$ZOO_HOME/conf下创建配置文件：

touch zoo.cfg

在zoo.cfg文件是加入以下配置：

tickTime=2000

dataDir=/opt/hadoop/data/zookeeper

clientPort=31315

initLimit=5

syncLimit=2

server.1=192.168.111.130:31316:31317

server.2=192.168.111.131:31316:31317

server.3=192.168.111.132:31316:31317

在三台服务器的目录/opt/hadoop/data/zookeeper下分别创建一个叫myid的文件，内容分别是1，2，3，如：

#在192.168.111.130上执行如下命令

echo 1 >/opt/hadoop/data/zookeeper/myid

#在192.168.111.131上执行如下命令

echo 2 >/opt/hadoop/data/zookeeper/myid

#在192.168.111.132上执行如下命令

echo 3 >/opt/hadoop/data/zookeeper/myid

最后就是分别启动zookeeper服务了：

cd $ZOO_HOME

./bin/zkServer.sh start

通过jps命令可以检查是否启动成功：

hd@hd0:/opt/hadoop/apps/zookeeper-3.4.5$ jps

1239 QuorumPeerMain

看到QuorumPeerMain进程就表示zookeeper启动成功了。

测试zookeeper集群是否建立成功，在$ZOO_HOME目录下执行以下命令即可，如无报错表示集群创建成功：

./bin/zkCli.sh -server localhost:31315

1.2 HDFS2.2.0HA配置

1.2.1 core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://mycluster</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop/data/hadoop/temp</value>

<description>Abase for other temporarydirectories.</description>

</property>

<property>

<name>hadoop.proxyuser.hadoop.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hadoop.groups</name>

<value>*</value>

</property>

<property>

<name>ha.zookeeper.quorum</name>

<value>192.168.111.130:31315,192.168.111.131:31315,192.168.111.132:31315</value>

</property>

<property>

<name>ha.zookeeper.session-timeout.ms</name>

<value>1000</value>

<description>ms</description>

</property>

</configuration>

1.2.2 hdfs-site.xml

<?xml version="1.0"encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/opt/hadoop/data/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/opt/hadoop/data/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<property>

<name>dfs.permissions.enabled</name>

<value>false</value>

</property>

<property>

<name>dfs.nameservices</name>

<value>mycluster</value>

<description>Logical name for this newnameservice</description>

</property>

<property>

<name>dfs.ha.namenodes.mycluster</name>

<value>nn1,nn2</value>

<description>Unique identifiers for each NameNode in thenameservice</description>

</property>

<property>

<name>dfs.namenode.rpc-address.mycluster.nn1</name>

<value>192.168.111.130:8020</value>

</property>

<property>

<name>dfs.namenode.rpc-address.mycluster.nn2</name>

<value>192.168.111.132:8020</value>

</property>

<property>

<name>dfs.namenode.servicerpc-address.mycluster.nn1</name>

<value>192.168.111.130:53310</value>

</property>

<property>

<name>dfs.namenode.servicerpc-address.mycluster.nn2</name>

<value>192.168.111.132:53310</value>

</property>

<property>

<name>dfs.namenode.http-address.mycluster.nn1</name>

<value>192.168.111.130:50070</value>

</property>

<property>

<name>dfs.namenode.http-address.mycluster.nn2</name>

<value>192.168.111.132:50070</value>

</property>

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://192.168.111.130:8485;192.168.111.131:8485;192.168.111.132:8485/mycluster</value>

</property>

<property>

<name>dfs.client.failover.proxy.provider.mycluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa_nn1</value>

</property>

<property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

<value>30000</value>

</property>

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/opt/hadoop/data/hadoop/journaldata</value>

</property>

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

<property>

<name>ha.failover-controller.cli-check.rpc-timeout.ms</name>

<value>60000</value>

</property>

<property>

<name>ipc.client.connect.timeout</name>

<value>60000</value>

</property>

<property>

<name>dfs.image.transfer.bandwidthPerSec</name>

<value>4194304</value>

</property>

</configuration>

在上面的配置中有一个地方要特别说明一下，dfs.ha.fencing.ssh.private-key-files这里指向的是一个本地文件。上面我们是配置了两个namenode来实现HDFS的HA的，分别是nn1和nn2，在nn2的~/.ssh/目录下需要将nn1的~/.ssh/目录下的id_rsa文件copy过来，并且应该重命名成如id_rsa_nn1这样的文件名，以免覆盖了本地的文件。

1.2.3 yarn-site.xml

<?xml version="1.0"?>

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>192.168.111.130:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>192.168.111.130:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>192.168.111.130:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>192.168.111.130:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>192.168.111.130:8088</value>

</property>

</configuration>

1.3 installphase

安装环境：Ubuntu 12.04.3 LTS

硬件环境：三台服务器，两台namenode，一台datanode，分别如下：

ü192.168.111.130，主namenode，zookeeper，journalnode，zkfc

ü192.168.111.131，datanode，zookeeper，journalnode

ü192.168.111.132，备namenode，zookeeper，journalnode，zkfc

0、首先把各个zookeeper起来，如果zookeeper集群还没有启动的话。

./bin/zkServer.sh start

1、然后在某一个namenode节点执行如下命令，创建命名空间

./bin/hdfs zkfc -formatZK

2、在各个节点用如下命令启日志程序

./sbin/hadoop-daemon.sh start journalnode

3、在主namenode节点用./bin/hadoopnamenode -format格式化namenode和journalnode目录

./bin/hadoop namenode -format mycluster

4、在主namenode节点启动./sbin/hadoop-daemon.shstart namenode进程

./sbin/hadoop-daemon.sh start namenode

5、在备节点执行第一行命令，这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来，并且这个命令不会把journalnode目录再格式化了！然后用第二个命令启动备namenode进程！

./bin/hdfs namenode –bootstrapStandby

./sbin/hadoop-daemon.sh start namenode

6、在两个namenode节点都执行以下命令

./sbin/hadoop-daemon.sh start zkfc

7、在所有datanode节点都执行以下命令启动datanode

./sbin/hadoop-daemon.sh start datanode

1.4 startupphase

下次启动的时候，就直接执行以下命令就可以全部启动所有进程和服务了：

./sbin/start-dfs.sh

然后访问以下两个地址查看启动的两个namenode的状态：

http://192.168.111.130:50070/dfshealth.jsp

http://192.168.111.132:50070/dfshealth.jsp

1.5 stop phase

停止所有HDFS相关的进程服务，执行以下命令：

./sbin/stop-dfs.sh

1.6 测试HDFS的HA功能

在任意一台namenode机器上通过jps命令查找到namenode的进程号，然后通过kill -9的方式杀掉进程，观察另一个namenode节点是否会从状态standby变成active状态。

hd@hd0:/opt/hadoop/apps/hadoop$ jps

1686 JournalNode

1239 QuorumPeerMain

1380 NameNode

2365 Jps

1863 DFSZKFailoverController

hd@hd0:/opt/hadoop/apps/hadoop$ kill -9 1380

然后观察原来是standby状态的namenode机器的zkfc日志，若最后一行出现如下日志，则表示切换成功：

2013-12-31 16:14:41,114 INFOorg.apache.hadoop.ha.ZKFailoverController: Successfully transitioned NameNodeat hd0/192.168.111.130:53310 to active state

这时再通过命令启动被kill掉的namenode进程

./sbin/hadoop-daemon.sh start namenode

对应进程的zkfc最后一行日志如下：

2013-12-31 16:14:55,683 INFOorg.apache.hadoop.ha.ZKFailoverController: Successfully transitioned NameNodeat hd2/192.168.111.132:53310 to standby state

可以在两台namenode机器之间来回kill掉namenode进程以检查HDFS的HA配置！

分享到：
| 给ant和wget设置代理
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Hadoop2.2.0中HDFS的高可用性实现原理.pdf )

    Hadoop2.2.0的HDFS（Hadoop分布式文件系统）高可用性（HA）解决方案是针对Hadoop早期版本中NameNode存在的单点故障问题而设计的。在Hadoop2.0.0之前，HDFS集群中只有一个NameNode，如果NameNode所在机器出现故障，会...

    hadoop2.2.0

    5. Hadoop HA：Hadoop 2.2.0引入了High Availability（HA）特性，通过NameNode的热备和故障切换，实现了HDFS服务的连续性。这包括两个活动NameNode（Active和Standby）和一个共享编辑日志（Journal Node），确保了...

    hadoop2.2.0-linux-64bit安装包和源码包

    - **功能增强**：Hadoop 2.2.0 版本中的HDFS进行了多项改进，例如支持更多的元数据操作、增强了HA（High Availability）功能，使得集群在出现故障时能够更快地恢复。 - **性能提升**：通过对HDFS内部机制的优化，...

    Hadoop2.2.0集群安装

    在Hadoop2.2.0中，HDFSHA架构实现了NameNode的高可用性。在一个典型的HDFSHA场景中，通常由两个NameNode组成，一个是active状态，另一个是standby状态。ActiveNameNode负责对外提供服务，如处理客户端的RPC请求，而...

    hadoop2.2.0集群搭建

    在 Hadoop 2.2.0 中，HA 配置主要包括 NameNode 的高可用性和故障转移机制。通过引入 ZooKeeper 作为选举工具，可以确保 NameNode 之间的数据同步以及故障切换的平滑过渡。 #### 六、总结 本文详细介绍了如何搭建 ...

    hadoop2.2.0API

    Hadoop 2.2.0 对HDFS进行了一些优化，例如引入了**Block Checksums**来增强数据完整性，通过**RAID**（Redundant Array of Inexpensive Disks）技术提供数据冗余和容错能力。此外，HDFS的**NameNode HA**（High ...

    Hadoop2.2.0集群搭建手册

    Hadoop2.2.0版本 - 虚拟机VMWare - Linux(ubuntu) ,多节点伪分布环境搭建详细操作手册，可以直接用于完全分布。每一步都有自己详细操作记录和相关说明，几夜风雨的辛劳搭建和测试。 此操作手册搭建的集群详细说明： ...

    HDFS HA和Federation安装部署方法

    - **Apache Hadoop 2.2.0 或更高版本**：或CDH 4及以上版本。 - **JDK 1.6 或更高版本**：对于CDH 5，需要JDK 7。 #### 修改配置文件 HDFS HA的关键配置位于`hdfs-site.xml`文件中。以下是一些重要的配置参数： - ...

    7自己配置HADOOP2.2.0[整理].pdf

    在本文中，我们将深入探讨如何配置Hadoop 2.2.0集群，这是一个基于软件开发的实践过程。Hadoop是一个开源的分布式计算框架，能够处理和存储大量数据。在这个配置中，我们会有4台虚拟机，分布在两台物理机上，它们...

    hadoop-common2.2.0和2.7.1版本

    这里我们关注的是Hadoop Common的2.2.0和2.7.1两个版本。 Hadoop Common是Hadoop生态系统的基础模块，它提供了Hadoop系统运行所需的通用工具和服务。这些工具和服务涵盖了网络、I/O、安全、文件系统接口等多个方面...

    hadoop2.2 hbase0.96.2 hive 0.13.1整合部署

    Hadoop2.2.0是Apache Hadoop项目的一个稳定版本，提供了改进的性能和稳定性。它引入了YARN（Yet Another Resource Negotiator），这是一个资源管理和调度器，用于更好地管理和优化分布式计算任务。此外，Hadoop ...

    hadoop版本差异详解.doc

    第二代Hadoop则包括0.23.x和2.x，这两个版本带来了全新的架构，主要特点是HDFS Federation和YARN。 Hadoop版本间的差异主要体现在以下几个关键特性： 1. **Append支持**：在Hadoop的某些版本中，文件追加功能...

    java连接hdfs ha和调用mapreduce jar示例

    总结来说，Java连接HDFS HA集群涉及设置Hadoop配置以指定NameNode信息，并使用`FileSystem`接口进行操作。调用MapReduce程序则需要提供作业的jar包路径、作业名称以及相应的配置属性，确保能正确地在YARN上调度和...

    妳那伊抹微笑_云计算之Hadoop-2.2.0+Hbaase-0.96.2 +Hive-0.13.1完全分布式环境整合安装文档V1.0.0.docx

    在文档中提到的HA（High Availability）方式，意味着Hadoop被配置为高可用模式，确保NameNode的冗余，避免单点故障。 接着，HBase-0.96.2是一个基于Apache Hadoop的数据存储系统，它构建在HDFS之上，提供了一个...

    hadoop版本差异详解.docx.doc

    此外，Hadoop 2.2.0及以后的版本还引入了NameNode HA（High Availability），即主备NameNode切换机制，进一步增强了系统的稳定性。HDFS快照功能也在此期间引入，允许用户创建文件系统的只读副本，以保护重要数据免受...

    hadoop集群配置

    本文将详细介绍如何配置一个基于Hadoop 2.2.0的集群，适合教学和学习使用。 首先，我们需要准备安装环境。在这个案例中，我们使用了四台运行CentOS 6.4的服务器作为节点，包括一台master节点（node1）和三台slave...

    大数据各种工具配合安装手册

    - **Hadoop版本**：社区版本 2.2.0 (hadoop-2.2.0.tar.gz) #### 三、准备工作 在开始正式的Hadoop集群安装之前，需要进行一系列的基础配置工作，以确保后续步骤能够顺利进行。 ##### 1. 配置主机名映射 首先，需要...

    spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)

    本项目旨在搭建一套完整的Spark集群环境，包括Hadoop HA（高可用）、HBase、Phoenix、Kafka、Flume、Zookeeper以及Scala等多个组件的集成。这样的环境适用于大规模的数据处理与分析任务，能够有效地支持实时数据流...

    hadoop2.4.1三台机器分布式安装

    hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据 信息，一条数据只要成功写入多数JournalNode即认为写入...

Magicbox
Global site tag (gtag.js) - Google Analytics