Hadoop-HDFS源码学习草记

2012-3-3：

 

HDFS

protocol:

Block 块定义，组成（blockId,numBytes,generationStamp），定义问块文件的文件命名为blk_{blockId},存储的最小单位。

BlockListAsLongs：每个Block块可以由3个long的数字表达，使用long[]存储Block[],主要用于datanode高效的上报给namenode

DatanodeID：标准dataNode，由name,storageID,infoPort(info服务端口),ipcPort（ipc服务端口）组成。ustorageID是hadoop集群唯一的。name由hostname:port组成。

DatanodeInfo:

DatanodeInfo represents the status of a DataNode. 

This object is used for communication in the Datanode Protocol and the Client Protocol

继承DatanodeID,实现Node，表示dataNode的统计信息，包括总容量，已用，剩余，名称，hostname，路径等信息

 

LocatedBlock:定义块的定位，包括block,在文件中的偏移量offset和存储的所有节点信息DatanodeInfo[]

LocatedBlocks:定义文件的块信息，包括文件大小，LocatedBlock集合和underConstruction（目前不晓得做什么，后面看看在说）等

 

 

namenode:

ClientProtocol:定义客户端与Namenode的HDFS相关的文件系统操作，因为Namenode只是提供元数据的操作，所有该接口提供了出去IO操作的主要文件系统操作定义。

同时实现VersionedProtocol表示通过ipc方式为客户端提供RPC服务。由NameNode（服务器端）和DistributeFileSystem（客户端）分别实现该接口

DatanodeProtocol：namenode与datanode间通讯的业务接口

NamenodeProtocol：定义secondary Namenode与Namenode间通讯的业务接口。

 

 

core-net包

Node: 接口，抽象定义网络拓扑中的一个节点，每个节点都定义name(名称)，networkLocation(路径,如/datacenter1/rack1)；也拥有Node的Parent引用

NodeBase: Node的基本实现，默认适配器模式。