`
qingwei201314
  • 浏览: 168213 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Hadoop cluster HA 客户端操作 Yarn高可用

 
阅读更多

一、通过QJM模式部署Hadoop HA

三台机器：192.168.86.130、192.168.86.131、192.168.86.132

1.部署zookeeper，分别在三台机器上部署zookeeper, 配置文件zoo.cfg内容如下：

tickTime=2000

dataDir=/usr/local/zookeeper-3.6.1/data

clientPort=2181

initLimit=5

syncLimit=2

server.130=192.168.86.130:2888:3888

server.131=192.168.86.131:2888:3888

 

server.132=192.168.86.132:2888:3888

2.三台zookeeper配置一样，配置完成后，分别启动：./zkServer.sh start

3.部署Hadoop：

namenode的机器共两台：192.168.86.130、192.168.86.131.配置内容下如：

3.1core-site.xml内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>fs.defaultFS</name>

    <value>hdfs://hadoop-cluster</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/hadoop_data</value>

  </property>

  <property>

    <name>hadoop.proxyuser.root.hosts</name>

    <value>*</value>

  </property>

  <property>

    <name>hadoop.proxyuser.root.groups</name>

    <value>*</value>

  </property>

  <property>

    <name>ha.zookeeper.quorum</name>

    <value>192.168.86.130:2181,192.168.86.131:2181,192.168.86.132:2181</value>

  </property>

  <property>

    <name>ha.zookeeper.auth</name>

    <value>@/usr/local/hadoop-2.10.0/security/zk-auth.txt</value>

  </property>

  <property>

    <name>ha.zookeeper.acl</name>

    <value>@/usr/local/hadoop-2.10.0/security/zk-acl.txt</value>

  </property>

 

</configuration>

3.2 hdfs-site.xml内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>dfs.replication</name>

    <value>3</value>

  </property>

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>/home/hadoop_data</value>

  </property>

  <property>

    <name>dfs.hosts</name>

    <value>/usr/local/hadoop-2.10.0/etc/hadoop/datanode_list.txt</value>

  </property>

  <property>

    <name>dfs.nameservices</name>

    <value>hadoop-cluster</value>

  </property>

  <property>

    <name>dfs.ha.namenodes.hadoop-cluster</name>

    <value>nn1,nn2</value>

  </property>

  <property>

    <name>dfs.namenode.rpc-address.hadoop-cluster.nn1</name>

    <value>hadoop-130:8020</value>

  </property>

  <property>

    <name>dfs.namenode.rpc-address.hadoop-cluster.nn2</name>

    <value>hadoop-131:8020</value>

  </property>

<property>

    <name>dfs.namenode.http-address.hadoop-cluster.nn1</name>

    <value>192.168.86.130:9870</value>

  </property>

  <property>

    <name>dfs.namenode.http-address.hadoop-cluster.nn2</name>

    <value>192.168.86.131:9870</value>

  </property>

  <property>

    <name>dfs.namenode.shared.edits.dir</name>

    <value>qjournal://192.168.86.130:8485;192.168.86.131:8485/hadoop-cluster</value>

  </property>

  <property>

    <name>dfs.client.failover.proxy.provider.hadoop-cluster</name>

    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

  </property>

  <property>

    <name>dfs.ha.fencing.methods</name>

    <value>sshfence</value>

  </property>

  <property>

    <name>dfs.ha.fencing.ssh.private-key-files</name>

    <value>/root/.ssh/id_rsa</value>

  </property>

  <property>

    <name>dfs.journalnode.edits.dir</name>

    <value>/home/hadoop_data/journalnode</value>

  </property>

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>/home/hadoop_data/namenode</value>

  </property>

  <property>

    <name>dfs.ha.automatic-failover.enabled</name>

    <value>true</value>

  </property>

</configuration>

4.192.168.86.132只作为datanode，配置文件如下：
4.1 core-site.xml内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/hadoop_data</value>

  </property>

  <property>

    <name>hadoop.proxyuser.root.hosts</name>

    <value>*</value>

  </property>

  <property>

    <name>hadoop.proxyuser.root.groups</name>

    <value>*</value>

  </property>

 

</configuration>

4.2 hdfs-site.xml内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>dfs.replication</name>

    <value>3</value>

  </property>

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>/home/hadoop_data</value>

  </property>

  <property>

    <name>dfs.nameservices</name>

    <value>hadoop-cluster</value>

  </property>

  <property>

    <name>dfs.ha.namenodes.hadoop-cluster</name>

    <value>nn1,nn2</value>

  </property>

  <property>

    <name>dfs.namenode.rpc-address.hadoop-cluster.nn1</name>

    <value>hadoop-130:8020</value>

  </property>

  <property>

    <name>dfs.namenode.rpc-address.hadoop-cluster.nn2</name>

    <value>hadoop-131:8020</value>

  </property>

</configuration>

5.datanode_list.txt的内容如下：

hadoop-130

hadoop-131

 

hadoop-132

6. 在三台机器上配置hosts, vi /etc/hosts

192.168.86.131 hadoop-131

192.168.86.130 hadoop-130

192.168.86.132 hadoop-132

6. 在三台机器上分别启动journalnode: nohup ./hdfs journalnode >journalnode.log 2>&1 &

7.在192.168.86.130或192.168.86.131上启动namenode集群：sbin/start-dfs.sh

8.在三台机器上分别启动datanode: nohup ./hdfs datanode>datanode.log 2>&1 &

 

附录：
1.ssh的免密登录配置详见操作手册，生成id_rsa的方法需要百度搜一下具体的操作步骤。
2.zookeeper的安全登录配置详见操作手册。

 

二、Java客户端操作Hadoop代码如下：

Configuration conf = new Configuration();
conf.set("dfs.replication","3");
conf.set("dfs.nameservices", "hadoop-cluster");
conf.set("dfs.ha.namenodes.hadoop-cluster", "nn1,nn2");
conf.set("dfs.namenode.rpc-address.hadoop-cluster.nn1", "hadoop-130:8020");
conf.set("dfs.namenode.rpc-address.hadoop-cluster.nn2", "hadoop-131:8020");
conf.set("dfs.client.failover.proxy.provider.hadoop-cluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
FileSystem fs =FileSystem.get(new URI("hdfs://hadoop-cluster"), conf, "root");
fs.mkdirs(new Path("/kevin/canal/"));
FSDataOutputStream out = null;
out = fs.create(new Path("/kevin/canal/canal-0330-2.txt"));
for(int j = 0; j < 10000; j ++){
    String name = "Kevin" + j;
out.writeBytes(j + "," + name + "," + new Date());
out.writeBytes("\n");
System.out.println(j);
}
out.flush();
out.close();
fs.close();

客户端的host需要增加配置：

192.168.86.130 hadoop-130 

192.168.86.131 hadoop-131

 

三、Yarn高可用
1.分别在192.168.86.130和192.168.86.131两台机器上修改yarn的配置文件，两台机器配置相同，yarn-site.xml配置文件内容如下：

<configuration>

  <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

  </property>

  <property>

    <name>yarn.nodemanager.env-whitelist</name>

    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

  </property>

  <property>

    <name>yarn.resourcemanager.recovery.enabled</name>

    <value>true</value>

  </property>

  <property>

    <name>yarn.resourcemanager.store.class</name>

    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

  </property>

  <property>

    <name>yarn.resourcemanager.ha.enabled</name>

    <value>true</value>

  </property>

  <property>

    <name>yarn.resourcemanager.cluster-id</name>

    <value>cluster1</value>

  </property>

  <property>

    <name>yarn.resourcemanager.ha.rm-ids</name>

    <value>rm1,rm2</value>

  </property>

  <property>

    <name>yarn.resourcemanager.hostname.rm1</name>

    <value>hadoop-130</value>

  </property>

  <property>

    <name>yarn.resourcemanager.hostname.rm2</name>

    <value>hadoop-131</value>

 

  </property>

<property>

    <name>yarn.resourcemanager.webapp.address.rm1</name>

    <value>hadoop-130:8088</value>

  </property>

  <property>

    <name>yarn.resourcemanager.webapp.address.rm2</name>

    <value>hadoop-131:8088</value>

  </property>

  <property>

    <name>hadoop.zk.address</name>

    <value>192.168.86.130:2181,192.168.86.131:2181,192.168.86.132:2181</value>

  </property>

</configuration>

2. 分别在两台机器上启动yarn: sbin/start-yarn.sh.
3.通过命令查看各节点的状态：bin/yarn rmadmin -getServiceState rm1

 

分享到：
| Hive 通过JDBC操作Hive
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    HadoopHA高可用集群配置 yarn-site.xml master2

    ### Hadoop HA高可用集群配置详解 #### 一、引言 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。随着业务需求的增长和技术的发展，对于数据处理平台的稳定性和可靠性提出了更高的要求。Hadoop HA（High ...

    hadoop3.1.1高可用配置

    本篇将详细介绍在Hadoop 3.1.1中实现HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource Negotiator）的高可用配置。 首先，我们要理解高可用性（High Availability，HA）的重要性。在生产环境中...

    hadoop-cluster-build

    同时，根据业务需求，可能还需要配置Hadoop的高可用性，如通过HA实现NameNode冗余。 网络拓扑设计是关键，确保所有节点能正确通信，可能需要配置Hadoop的网络拓扑模型，比如使用环形或树形结构。 安全性设置是企业...

    Hadoop HA搭建笔记和配置文件

    7. **配置YARN HA**：在`yarn-site.xml`中配置`yarn.resourcemanager.ha.enabled`为true，并设置`yarn.resourcemanager.cluster-id`和`yarn.resourcemanager.ha.rm-ids`。同样，配置`yarn.resourcemanager.address`...

    自己总结的hadoop HA安装流程

    而Hadoop HA（High Availability）则是为了确保系统在面临单点故障时仍能保持高可用性。以下是我根据自身经验总结的Hadoop HA安装流程，这个流程已经在实际工作中得到验证，可以确保稳定运行。 一、环境准备 1. ...

    hadoop+HA+zookeeper+hbase配置文件

    Hadoop 2.6.0版本引入了高可用性（HA）特性，增强了系统的稳定性，而Zookeeper则作为协调服务，确保了分布式环境中的有序和一致性。HBase是基于Hadoop的数据存储系统，适用于实时读写的大数据操作。本文将详细阐述...

    HadoopHA配置文件.rar

    高可用性（High Availability, HA）是Hadoop的重要特性，确保系统在单个组件故障时仍能继续运行。本文件"**HadoopHA配置文件.rar**"包含了实现Hadoop HA所需的一些核心配置，主要包括`core-site.xml`、`hdfs-site....

    配hadoopHA最怕就是配置文件错了

    在Hadoop分布式计算环境中，高可用性(High Availability, HA)是确保系统稳定运行的关键特性。标题提到的“配Hadoop HA最怕就是配置文件错了”，意味着配置Hadoop HA时，配置文件的正确性至关重要。这里我们将深入...

    hadoop HA配置文件.zip

    在Hadoop分布式计算框架中，高可用性（High Availability，简称HA）是关键特性之一，它确保了系统在主节点故障时能够无缝切换到备份节点，以保证服务不间断。本压缩包“hadoop HA配置文件.zip”包含了实现Hadoop HA...

    11-Hadoop部署多机HDFS+HA+Federation+YARN1

    本文将详细解析如何在多机环境中部署Hadoop的HDFS（Hadoop Distributed File System）高可用性（HA）、Federation以及YARN（Yet Another Resource Negotiator）组件。我们将按照步骤进行，确保每个环节的正确设置和...

    Hadoop HA搭建脚本资料（必读）

    Hadoop HA（High Availability）是为了解决单点故障问题，确保集群的高可用性。本文将详细阐述如何通过脚本搭建Hadoop HA环境。 首先，理解Hadoop HA的核心组件： 1. **NameNode HA**：Hadoop的元数据管理服务，HA...

    hadoop-2.7.2/4-ha-conf

    标题中的"hadoop-2.7.2/4-ha-conf"指的是Hadoop分布式文件系统（HDFS）在高可用性（HA）模式下的配置文件，适用于Hadoop的2.7.2和2.7.4两个版本。HA是Hadoop为了确保在主NameNode故障时能无缝切换到备用NameNode，...

    Hadoop集群高可用的搭建

    在构建Hadoop集群时，高可用（High Availability, HA）是一个关键特性，它旨在消除单点故障，确保服务的连续性和稳定性。本文将详细介绍如何在Hadoop 2.x版本中搭建HDFS-HA（Hadoop Distributed File System - High ...

    hadoop ha 配置

    在大型集群中，为了确保高可用性（HA），Hadoop引入了HA配置，以防止单点故障。本文将深入探讨"Hadoop HA配置"的相关知识点，并结合`yarn-site.xml`、`hdfs-site.xml`和`core-site.xml`这三个关键配置文件进行详细...

    CentOS7下Hadoop3.2.1集群的安装与部署（下）

    HDFS高可用 在上述Hadoop集群搭建完成之后，若要启用HA还需要对hdfs-site.xml和core-site.xml两个文件进行一点额外的配置。 hdfs-site.xml dfs.nameservices hadoop-cluster dfs.ha.namenodes.hadoop-cluster

    apache hadoop 2.7.2.chm

    apahe hadoop2.7.2 官方文档，离线版 General Overview Single Node Setup Cluster Setup Hadoop Commands Reference FileSystem Shell Hadoop Compatibility Interface Classification FileSystem ...

    hadoop搭建.docx

    本教程将详细介绍如何在Linux环境下搭建一个高可用(HA)的Hadoop完全分布式集群，主要涉及到HDFS(Hadoop Distributed File System)的HA以及YARN(Yet Another Resource Negotiator)的高可用设置。 1. **HDFS HA**: ...

    主流大数据技术组件解读及高可用性部署.docx

    Spark 的高可用性依赖于 Standby Master 和 Cluster Manager，如 Mesos 或 YARN，以确保任务的连续执行。 7. Spark Streaming：Spark Streaming 扩展了 Spark，用于实时数据处理。通过DStream的微批处理和故障恢复...

    【hadoop&spark】资源

    - **ResourceManager HA**：为YARN提供高可用性支持，利用ZooKeeper等工具来管理ResourceManager的状态，确保在故障发生时能够及时恢复。 #### 二、Spark概述 **1. Spark核心组件** - **Driver节点**：Spark应用...

Magicbox
Global site tag (gtag.js) - Google Analytics