`
yo8237233
  • 浏览: 62811 次
  • 来自: 深圳
社区版块
存档分类
最新评论

HDFS 和YARN HA 简介

阅读更多
HDFS:


基础架构
1、NameNode(Master)

1)命名空间管理:命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。

2)块存储管理。
使用Active NameNode,Standby NameNode 两个节点可以解决单点问题,两个节点通过JounalNode共享状态,通过ZKFC 选举Active ,监控状态,自动备份。

1、Active NameNode

接受client的RPC请求并处理,同时写自己的Editlog和共享存储上的Editlog,接收DataNode的Block report, block location updates和heartbeat。

2、Standby NameNode

同样会接到来自DataNode的Block report, block location updates和heartbeat,同时会从共享存储的Editlog上读取并执行这些log操作,保持自己NameNode中的元数据(Namespcae information + Block locations map)和Active NameNode中的元数据是同步的。所以说Standby模式的NameNode是一个热备(Hot Standby NameNode),一旦切换成Active模式,马上就可以提供NameNode服务。

3、JounalNode

用于Active NameNode , Standby NameNode 同步数据,本身由一组JounnalNode节点组成,该组节点奇数个。

4、ZKFC

监控NameNode进程,自动备份。

YARN:



基础架构
1、ResourceManager(RM)

接收客户端任务请求,接收和监控NodeManager(NM)的资源情况汇报,负责资源的分配与调度,启动和监控ApplicationMaster(AM)。

2、NodeManager

节点上的资源管理,启动Container运行task计算,上报资源、container情况汇报给RM和任务处理情况汇报给AM。

3、ApplicationMaster

单个Application(Job)的task管理和调度,向RM进行资源的申请,向NM发出launch Container指令,接收NM的task处理状态信息。

4、Web Application Proxy

用于防止Yarn遭受Web攻击,本身是ResourceManager的一部分,可通过配置独立进程。ResourceManager Web的访问基于守信用户,当Application Master运行于一个非受信用户,其提供给ResourceManager的可能是非受信连接,Web Application Proxy可以阻止这种连接提供给RM。

5、Job History Server

NodeManager在启动的时候会初始化LogAggregationService服务, 该服务会在把本机执行的container log (在container结束的时候)收集并存放到hdfs指定的目录下. ApplicationMaster会把jobhistory信息写到hdfs的jobhistory临时目录下, 并在结束的时候把jobhisoty移动到最终目录, 这样就同时支持了job的recovery.History会启动web和RPC服务, 用户可以通过网页或RPC方式获取作业的信息。

HA架构
ResourceManager HA 由一对Active,Standby结点构成,通过RMStateStore存储内部数据和主要应用的数据及标记。目前支持的可替代的RMStateStore实现有:基于内存的MemoryRMStateStore,基于文件系统的FileSystemRMStateStore,及基于zookeeper的ZKRMStateStore。 ResourceManager HA的架构模式同NameNode HA的架构模式基本一致,数据共享由RMStateStore,而ZKFC成为 ResourceManager进程的一个服务,非独立存在。

集群当中 datanode 和nodemanager 理论上是相同的
  • 大小: 35.9 KB
  • 大小: 29.6 KB
分享到:
评论

相关推荐

    Hadoop CDH5.5.0 配置(Hdfs/Yarn HA)

    在CDH5.5.0中,HDFS(Hadoop Distributed File System)和YARN(Yet Another Resource Negotiator)是两个核心组件,它们在高可用性(HA)模式下的配置尤为重要。HDFS HA允许数据节点和名称节点的冗余,以确保即使单...

    Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南

    这里值得注意的是,NameNode和ResourceManager进程被设置为HA模式,即高可用模式,这意味着它们都有一个主动节点(Active)和一个备用节点(Standby),以提高系统的可靠性和容错能力。 ### 目录规划 良好的目录结构...

    【自动化脚本】自动启动hdfs/yarn/spark HA集群

    脚本功能:启动集群 前提:配置好执行脚本的主机到其他主机的ssh登录 脚本使用:vim编辑脚本,按照自己的配置修改主机号,我的是hadoop1、2是NN;hadoop2、3是Spark Master;hadoop3还是RM;hadoop4、5、6是DN、NM、...

    HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx

    【Hadoop HA集群部署】是...总结来说,Hadoop HA和YARN HA的配置涉及多个层面,包括网络、安全、配置文件修改以及服务启动和验证。这些步骤的目的是构建一个健壮且高可用的Hadoop环境,以支持大规模的分布式计算任务。

    HadoopHA集群部署、YARNHA测试Job教学课件.pptx

    Hadoop HA 主要指的是 HDFS(Hadoop Distributed File System)和 YARN(Yet Another Resource Negotiator)的高可用性。本教程将重点讲解如何部署 Hadoop HA 集群以及如何在 YARN HA 环境下测试 MapReduce 作业。 ...

    Hadoop2.6集群环境搭建(HDFS HA+YARN)

    在搭建Hadoop 2.6集群环境时,我们需要关注几个关键组件:HDFS(Hadoop Distributed File System)的高可用性(HA)以及YARN(Yet Another Resource Negotiator)。这个过程涉及多台虚拟机的配置,包括安装操作系统...

    hadoop2.x集群搭建.txt(hdfs和yarn貌似正常,但mapreduce 提交job执行失败,请看我的另一个资源,另一个搭建是成功的)

    从提供的信息来看,HDFS和YARN部分似乎运行正常,但是遇到了MapReduce提交Job执行失败的问题。这可能是由以下原因导致的: 1. **配置错误**:检查`mapred-site.xml`和`yarn-site.xml`配置文件是否正确设置了...

    11-Hadoop部署多机HDFS+HA+Federation+YARN1

    在部署HDFS HA和Federation时,必须修改多个配置文件,包括`hdfs-site.xml`和`core-site.xml`。这些文件通常位于`$HADOOP_CONF_DIR`目录下。主要的配置调整包括: - 设置`ha自动化故障转移`(Automatic Failover)...

    HDFS HA 高可用部署日志文件,全代码,详细步骤解说(202302070418)

    HDFS 的 HA 和 YARN 的 HA。 3)Hadoop2.0 之前,在 HDFS 集群中 NameNode 存在单点故障(SPOF)。 4)NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意外,如宕机,集群将无法使用,直到管理员重启 ...

    【HDFS篇13】HA高可用 --- YARN-HA集群配置1

    1.官方文档 2.工作机制图 1.环境准备 2. 规划集群 3.具体配置

    14_尚硅谷大数据之HDFS HA高可用1

    HDFS HA和YARN HA是整个Hadoop集群高可用性的两个重要组成部分。在Hadoop 2.0之前,NameNode的单点故障可能导致整个集群不可用,无论是由于硬件或软件故障,还是计划内的维护升级。 8.2 HDFS-HA工作机制: 1)双...

    hadoop_HA版本的配置

    Hadoop High Availability (HA) 是一种关键特性,它...通过以上步骤,我们可以成功地配置一个基于QJM的Hadoop HA集群,实现HDFS和YARN的高可用性。这将极大地提高集群的稳定性和可靠性,减少因单点故障导致的服务中断。

    Day05_HDFS深入及Hadoop HA.pdf

    首先需要了解标题和描述中提及的几个关键点:课程回顾、基础课程价值信息、入门课程、分布式计算条件、HDFS深入、Hadoop HA架构、Zookeeper功能及应用场景、Hadoop HDFS功能及应用场景、分布式编程模型与YARN、以及...

    HadoopHA集群配置文件

    本文将深入探讨Hadoop HA(高可用性)集群的配置文件,包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml`以及`slaves`文件,这些都是确保Hadoop集群稳定运行的基础。 1. `core-site.xml`:...

    CentOS7下Hadoop3.2.1集群的安装与部署(下)

    接下来,重点对HDFS和Yarn的HA配置进行介绍。 HDFS高可用 在上述Hadoop集群搭建完成之后,若要启用HA还需要对hdfs-site.xml和core-site.xml两个文件进行一点额外的配置。 hdfs-site.xml dfs.nameservices hadoop...

    10-Hadoop部署多机HDFS+HA+YARN1

    1. 集群环境的节点分布 2. 演示修改主机名 3. 演示配置 hosts 文件 4. 演示免密码登录

    4、hadoop 多节点部署和测试(HA_HDFS)

    5. **HDFS配置**:配置多节点的HDFS需要对`hdfs-site.xml`进行修改,以启用HA和设置Zookeeper集群的地址。同时,还需要在`core-site.xml`中指定默认的FS(文件系统)地址。 6. **测试HA**:部署完成后,需要通过...

    Cloudera Hadoop 5&Hadoop高阶管理及调优课程

    1、Hadoop2.0高阶运维,包括Hadoop节点增加删除、HDFS和YARN的HA实现, HDFS Federation实现等 2、搭建本地Yum部署CDH5的重要组件和优化配置 3、Impala、Oozie和Hue的部署、使用操作及调优 4、Hadoop安全认证及授权...

    hadoopHA配置.txt

    hadoop的ha配置过程,亲自搭建测试过,hdfs和yarn的HA都完美运行,mapreduce提交到集群中也运行成功。

    java连接hdfs ha和调用mapreduce jar示例

    例如`yarn.resourcemanager.address`和`yarn.resourcemanager.scheduler.address`分别指定了ResourceManager的地址,`fs.defaultFS`和前面的配置相同,用于设置HDFS的默认文件系统,其他参数如`dfs.nameservices`、`...

Global site tag (gtag.js) - Google Analytics