`
youguofu
  • 浏览: 25838 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

HDFS的运行原理,NameNode,DataNode,client介绍

阅读更多

HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文英文)。

HDFS有很多特点:

    ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。

    ② 运行在廉价的机器上。(商用机)

    ③ 适合大数据的处理。多大?多小?HDFS默认会将文件分割成block,64M为1个block。然后将block按键值对存储在HDFS上,并将键值对的映射存到内存中。如果小文件太多,那内存的负担会很重。

 

 

 

如上图所示,HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。

NameNode:是Master节点,是大领导。管理数据块映射;处理客户端的读写请求;配置副本策略;管理HDFS的名称空间;

SecondaryNameNode:是一个小弟,分担大哥namenode的工作量;是NameNode的冷备份;合并fsimage和fsedits然后再发给namenode。

DataNode:Slave节点,奴隶,干活的。负责存储client发来的数据块block;执行数据块的读写操作。

热备份:b是a的热备份,如果a坏掉。那么b马上运行代替a的工作。

冷备份:b是a的冷备份,如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息,减少a坏掉之后的损失。

fsimage:元数据镜像文件(文件系统的目录树。)

edits:元数据的操作日志(针对文件系统做的修改操作记录)

namenode内存中存储的是=fsimage+edits。

SecondaryNameNode负责定时默认1小时,从namenode上,获取fsimage和edits来进行合并,然后再发送给namenode。减少namenode的工作量。所以讲secondarynamenode,单独放置到一台机器上,可以增大冗余,但是有可能会丢失一小时内处理的数据。

 

 

工作原理

 

写操作:



 

 

 

有一个文件FileA,100M大小。Client将FileA写入到HDFS上。

HDFS按默认配置。

HDFS分布在三个机架上Rack1,Rack2,Rack3。

 

a. Client将FileA按64M分块。分成两块,block1和Block2;

b. Client向nameNode发送写数据请求,如图蓝色虚线①——>。

c. NameNode节点,记录block信息。并返回可用的DataNode,如粉色虚线②———>。

    Block1: host2,host1,host3

    Block2: host7,host8,host4

    原理:

        NameNode具有RackAware机架感知功能,这个可以配置。

        若client为DataNode节点,那存储block时,规则为:副本1,同client的节点上;副本2,不同机架节点上;副本3,同第二个副本机架的另一个节点上;其他副本随机挑选。

        若client不为DataNode节点,那存储block时,规则为:副本1,随机选择一个节点上;副本2,不同副本1,机架上;副本3,同副本2相同的另一个节点上;其他副本随机挑选。

d. client向DataNode发送block1;发送过程是以流式写入。

    流式写入过程,

        1>将64M的block1按64k的package划分;

        2>然后将第一个package发送给host2;

        3>host2接收完后,将第一个package发送给host1,同时client想host2发送第二个package;

        4>host1接收完第一个package后,发送给host3,同时接收host2发来的第二个package。

        5>以此类推,如图红线实线所示,直到将block1发送完毕。

        6>host2,host1,host3向NameNode,host2向Client发送通知,说“消息发送完了”。如图粉红颜色实线所示。

        7>client收到host2发来的消息后,向namenode发送消息,说我写完了。这样就真完成了。如图黄色粗实线

        8>发送完block1后,再向host7,host8,host4发送block2,如图蓝色实线所示。

        9>发送完block2后,host7,host8,host4向NameNode,host7向Client发送通知,如图浅绿色实线所示。

        10>client向NameNode发送消息,说我写完了,如图黄色粗实线。。。这样就完毕了。

分析,通过写过程,我们可以了解到:

    ①写1T文件,我们需要3T的存储,3T的网络流量贷款。

    ②在执行读或写的过程中,NameNode和DataNode通过HeartBeat进行保存通信,确定DataNode活着。如果发现DataNode死掉了,就将死掉的DataNode上的数据,放到其他节点去。读取时,要读其他节点去。

    ③挂掉一个节点,没关系,还有其他节点可以备份;甚至,挂掉某一个机架,也没关系;其他机架上,也有备份。

 

 

读操作:

 



 

读操作就简单一些了,如图所示,client要从datanode上,读取FileA。而FileA由block1和block2组成。 

 

那么,读操作流程为:

a. client向namenode发送读请求。

b. namenode查看Metadata信息,返回fileA的block的位置。

    block1:host2,host1,host3

    block2:host7,host8,host4

c. block的位置是有先后顺序的,先读block1,再读block2。而且block1去host2上读取;然后block2,去host7上读取;

 

上面例子中,client位于机架外,那么如果client位于机架内某个DataNode上,例如,client是host6。那么读取的时候,遵循的规律是:

优选读取本机架上的数据。

 


 

HDFS中常用到的命令

1、hadoop fs

hadoop fs -ls /
hadoop fs -lsr
hadoop fs -mkdir /user/hadoop
hadoop fs -put a.txt /user/hadoop/
hadoop fs -get /user/hadoop/a.txt /
hadoop fs -cp src dst
hadoop fs -mv src dst
hadoop fs -cat /user/hadoop/a.txt
hadoop fs -rm /user/hadoop/a.txt
hadoop fs -rmr /user/hadoop/a.txt
hadoop fs -text /user/hadoop/a.txt
hadoop fs -copyFromLocal localsrc dst 与hadoop fs -put功能类似。
hadoop fs -moveFromLocal localsrc dst 将本地文件上传到hdfs,同时删除本地文件。

2、hadoop fsadmin 

hadoop dfsadmin -report
hadoop dfsadmin -safemode enter | leave | get | wait
hadoop dfsadmin -setBalancerBandwidth 1000

3、hadoop fsck

 

4、start-balancer.sh

 

 原文地址 :  http://www.weixuehao.com/archives/596 (感觉文章写得可好,就借鉴了)

 


 

  • 大小: 79.7 KB
  • 大小: 57 KB
  • 大小: 100.7 KB
分享到:
评论

相关推荐

    大数据HDFS架构原理.pdf

    3. Client:支持业务访问HDFS,从NameNode、DataNode获取数据返回给业务,多个实例,和业务一起运行。 HDFS数据读取流程: 1. 业务应用调用HDFS Client提供的API打开文件。 2. HDFS Client联系NameNode,获取到...

    Hadoop HDFS原理分析,技术详解

    HDFS的架构主要由四个部分组成:HDFS Client、NameNode、DataNode和SecondaryNameNode。HDFS Client是客户端,负责将文件切分成块,并与NameNode和DataNode进行交互。NameNode是主节点,负责管理HDFS的名称空间、...

    大数据HDFS技术原理与实践.pptx

    HDFS架构由NameNode、DataNode和Client组成: - **Active NameNode**:作为主Master,管理HDFS的命名空间、数据块映射信息,执行副本策略,并处理客户端请求。 - **Standby NameNode**:作为热备份,定期同步...

    Hadoop HDFS文件系统技术概述.pptx

    HDFS Client负责文件切分和上传,NameNode负责管理HDFS的名称空间和数据块映射,DataNode负责存储实际的数据块,SecondaryNameNode负责辅助NameNode和分担工作量。 HDFS是一种高容错、可靠、可扩展的分布式文件系统...

    大数据Hadoop中Hdfs的工作原理简洁版

    首先,Hdfs工作原理中主要关键词包括NameNode、SecondaryNameNode和DataNode。NameNode是整个Hdfs集群的管理中心,负责管理其他的DataNode节点,记录各个块的信息。SecondaryNameNode可以帮助NameNode完成fsimage和...

    HDFS之NameNode分析

    大家都知道HDFS的架构由NameNode,SecondaryNameNode和DataNodes组成,其源码类图如下图所示:正如上图所示,NameNode和DataNode继承了很多的protocol用于彼此间的通信,其实nameNode还实现了...实现了ClientProtocol...

    hdfs源码分析整理

    * Client 与 Namenode 之间的通信:HDFS使用RPC机制来实现Client与Namenode之间的通信,以便于实现文件的读写操作。 DataNode工作状态分析 DataNode是HDFS中的一个核心组件,负责存储和管理文件块。在HDFS中,...

    HDFS原理和体系结构.pptx

    1. **HDFS Client**:客户端负责文件的切分,与NameNode交互获取文件位置信息,并与DataNode交互进行数据的读写。同时,客户端还提供了一系列用于管理HDFS的命令。 2. **NameNode**:作为主节点,NameNode管理整个...

    Chapter3-厦门大学-林子雨-大数据技术原理与应用-第3讲-分布式文件系统HDFS(中国大学MOOC2018年春季学期)1

    NameNode是HDFS中的名称节点,负责管理文件系统的命名空间,DataNode是HDFS中的数据节点,负责存储文件数据,Client是HDFS中的客户端,负责与NameNode和DataNode进行通信,实现文件的读写操作。 HDFS存储原理是指...

    hdfs源码.zip

    第1章 HDFS 1 1.1 HDFS概述 1 1.1.1 HDFS体系结构 1 1.1.2 HDFS基本概念 2 1.2 HDFS通信协议 4 1.2.1 Hadoop RPC接口 4 1.2.2 流式接口 20 1.3 HDFS主要流程 22 1.3.1 HDFS客户端读流程 22 1.3.2 ...

    大数据平台构建:HDFS架构.pptx

    4. HDFS中的Heartbeats是指DataNode周期性地向NameNode发送的通信信号,用于汇报DataNode的状态,包括存储情况、健康状况等,同时也是NameNode监控DataNode运行状态的重要方式。 通过以上解析,我们可以看到HDFS是...

    实验项目 实战 HDFS 实验报告

    HDFS由NameNode、DataNode和SecondaryNameNode等关键组件构成。NameNode作为元数据管理节点,负责文件系统的命名空间和文件块映射信息。DataNodes则是数据存储节点,它们保存实际的数据块,并向NameNode报告存储信息...

    hadoop273 hdfs的IO操作API所引用的jar包

    5. **DFSClient**: 虽然在客户端API中并不直接使用,但DFSClient是HDFS客户端与NameNode和DataNode交互的核心类。它处理所有的网络通信,包括打开、关闭文件,以及数据的读写。 为了在客户端进行HDFS操作,需要确保...

    分布式存储系统-HDFS.docx

    HDFS由NameNode和DataNode组成。NameNode是主节点,负责元数据管理,如文件系统的命名空间(文件和目录的树形结构)和文件块信息。DataNode是数据节点,存储实际的数据块。客户端在HDFS中进行读写操作时,首先与...

    HCIA-Big-Data-DUMPS-147-QUESTIONS.pdf

    HDFS 由 NameNode、DataNode 和 Client 组成,支持 Write Once Read Many(WORM)任务,且将第一个副本存储在最近的节点上。 知识点 6:Standby NameNode职责 Q6 中题目询问 Standby NameNode 的职责,答案是 AC。...

    第2讲_分布式文件系统HDFS.pdf

    HDFS的架构主要包括NameNode和DataNode两个组件。NameNode是Master节点,负责管理命名空间、元数据和Block副本策略。DataNode是Slave节点,负责存储Block和数据校验和执行客户端发送的读写操作。 NameNode ...

    HDFS 的读写数据流程:

    HDFS的读写数据流程是其核心组件,通过NameNode和DataNode的交互来实现数据的读取和写入。HDFS的依赖项和配置项是其正常运作的基础。本文对HDFS的读写数据流程进行了详细的解释,有助于读者更好地理解HDFS的工作原理...

    java-Hdfs体系结构与基本概念

    * RPCClient:RPCClient 是 Java-HDFS 客户端的主要组件,负责与 NameNode 和 DataNode 进行通信。 * HdfsClient:HdfsClient 是 Java-HDFS 客户端的高级 API,提供了一个简洁的接口来访问 HDFS。 Java-HDFS 应用...

Global site tag (gtag.js) - Google Analytics