在上篇blog中提到了HDFS的功能扩展点:Service plugin,它存在于NameNode和DataNode中。HDFS赋予它们可以操作这两个大对象的能力,这也完全提供我们在HDFS上进行开发的机会。这些开发可以是对HDFS现有功能的补充与完善,也可以是基于HDFS之上的扩展。但server plugin可以知道当前用户正在操作哪些文件么?不知道
现在我们有这样的需求:需要HDFS提供file notification - 也就是订阅方可以在HDFS上订阅监控某个文件或目录,如果文件或目录有更改,订阅方可以及时得到来自HDFS的通知。类似的功能需求在大部分应用系统都会支持,所以我们也会试着来完善HDFS的这个功能。
所有与文件相关的操作都是来自client,这些操作通过NameNode提供的RPC接口进行数据处理。我们最先应该想到的是在哪里可以获得所有与client交互的请求呢?client端显然不现实:1. 它是临时的,不能长期提供服务; 2. 某个文件可被多个client操作,不能完全拦截用户操作。除client之外,NameNode肯定是可以完成需求的,但怎样修改是改动少,最稳妥的方式呢?我想到了NameNode端的RPC server,它持有NameNode instance,然后在每次RPC请求到达时,根据这个instance做方法调用,在这里我们就可以偷梁换柱,用我们想要的代理层来替代真实的NameNode,既可以做正常的方法调用转发,也可以实现我们的需求。
在RPC server与NameNode之间加入这样一层“锲子”,它静态代理着所有对NameNode的请求(当然也有从DataNode来的请求,不过我们不处理它,因为我们想要的只要与HDFS文件或目录相关的操作),然后在背后把请求的参数拦截下来,做异步处理,尽量不要影响NameNode的处理效率。
在NameNode中加入这个Proxy,RPC server就只会认为它是NameNode
//NameNode.java
NameNodeProxy nnProxy = new NameNodeProxy(this);
this.server = RPC.getServer(NamenodeProtocols.class, nnProxy,
socAddr.getHostName(), socAddr.getPort(),
handlerCount, false, conf,
namesystem.getDelegationTokenSecretManager());
对于用户的这些文件操作请求,我们可以对它这样做。把请求代理到真正的NameNode,拦截请求参数,与订阅信息比对,如果匹配就通知订阅方
//NameNodeProxy.java
public void create(String src,
FsPermission masked,
String clientName,
EnumSetWritable<CreateFlag> flag,
boolean createParent,
short replication,
long blockSize) throws IOException {
nameNode.create(src, masked, clientName, flag, createParent, replication, blockSize);
putRequestToQueue(src, "create");
}
private List<Operation> operationQueue;
private void putRequestToQueue(String src, String cmd) {
Operation op = new Operation(src, cmd);
operationQueue.add(op);
}
这层代理同时也是一个契机,为我们分析用户操作打开一扇窗。你想分析下当前HDFS中哪些目录或哪些文件是热点文件/目录,那么你知道怎么做的。
就简单说到这吧,上述的HDFS版本是0.21,用的代码是伪代码。大家有任何想法,欢迎提出,谢谢!
- 大小: 50.4 KB
分享到:
相关推荐
第1章 HDFS 1 1.1 HDFS概述 1 1.1.1 HDFS体系结构 1 1.1.2 HDFS基本概念 2 1.2 HDFS通信协议 4 1.2.1 Hadoop RPC接口 4 1.2.2 流式接口 20 1.3 HDFS主要流程 22 1.3.1 HDFS客户端读流程 22 1.3.2 ...
- `dfs.client.failover.proxy.provider.my-ha`: 指定客户端使用的FailoverProxyProvider实现类,用于处理NameNode之间的自动切换。 2. `hbase-site.xml`: 虽然HBase是构建在HDFS之上,但它的配置文件中也可能会...
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider ``` 这里配置了使用`ConfiguredFailoverProxyProvider`作为NameNode的主备切换代理。 ##### 7. `dfs.namenode.name.dir` 此...
hdfs namenode -format -clusterId start-dfs.sh ``` **2.4. 在 Cluster2 上操作** 在Cluster2上,配置备用NameNode并启动它。确保配置文件与Cluster1中的配置一致,然后启动JournalNode和Standby NameNode: ``...
- **功能**:指定HDFS的默认名称节点(NameNode)的位置,即HDFS的访问地址。 - **示例**:`<value>hdfs://Master.Hadoop:9000</value>` 表示NameNode位于`Master.Hadoop`这台服务器上,并且监听端口为9000。 - *...
- `dfs.client.failover.proxy.provider.*`: 选择一个客户端failover代理提供者,以自动处理NameNode之间的切换。 3. **mapred-site.xml**: 在HA环境下,这个文件主要涉及YARN(Yet Another Resource Negotiator)...
最后,使用`dfs.client.failover.proxy.provider.hadoop2cluster`配置了客户端的故障切换代理提供商,这里是`ConfiguredFailoverProxyProvider`,它负责在NameNode之间进行自动切换。完成配置后,通过`FileSystem....
node1 : HDFS NameNode + Spark Master node2 : YARN ResourceManager + JobHistoryServer + ProxyServer node3 : HDFS DataNode + YARN NodeManager + Spark Slave node4 : HDFS DataNode + YARN NodeManager +...
1. **hdfs-site.xml** - 这个文件用于定义HDFS的参数,如NameNode的地址、数据块复制数等。在配置HA时,我们需要在这里设置`dfs.nameservices`来定义一个命名空间,包含两个NameNode的地址,并配置`dfs.ha.namenodes...
hdfs namenode -format ``` - 启动Hadoop: ```bash start-dfs.sh start-yarn.sh ``` **步骤3: 测试Hadoop集群** - 使用`hadoop fs`命令检查HDFS状态 - 运行MapReduce任务测试集群性能 #### 四、扩展配置 ...
6. `dfs.client.failover.proxy.provider.mycluster`: 配置客户端使用的Failover Proxy Provider类。 接下来,配置Zookeeper 3.4.6以支持Hadoop HA。Zookeeper用于监控NameNode的状态,并在活性NameNode故障时协助...
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider <name>dfs.ha.fencing.methods <value>sshfence <name>dfs.ha.fencing.ssh.private-key-files <value>/root/....
通过引入Observer节点,该特性允许将读请求分发到Observer节点,从而减少对主Active NameNode的负载压力。下面详细介绍HDFS Observer Read的核心知识点。 ### ObserverNode [SBN-READ]原理及实现分析 HDFS ...
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider ``` 同时,还需要配置SSH Fence机制来实现NameNode故障转移: ```xml <!-- 配置sshfence --> <name>dfs.ha.fencing.ssh....
**hdfs-site.xml**:此文件是Hadoop分布式文件系统(HDFS)的配置,对于HA而言,其中最重要的配置是关于名称节点(NameNode)的HA设置。这包括`dfs.nameservices`,它定义了一个名称服务的集合,可能包含多个名称...
在`hdfs-site.xml`文件中,我们需要定义NameNode集群的服务名、每个NameNode的地址、JournalNode的位置以及其他相关属性。例如: ```xml <name>dfs.nameservices <value>mycluster ... <name>dfs....
在该版本中,HDFS支持了一个名为“High Availability”(HA)的功能,该功能使得Hadoop集群即使在某个关键组件发生故障的情况下也能继续正常运行。 #### 二、HDFSHA架构 在Hadoop2.2.0中,HDFSHA架构实现了NameNode...