`
bupt04406
  • 浏览: 347807 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

cdh4 vs cdh3 client处理DataNode异常的不同

 
阅读更多

cdh4在处理pipeline中的错误时,逻辑上与原先不一样。 

cdh3在处理pipeline的错误时,假设当前pipeline有3个datanode,如果一个有问题,那么通过移除掉坏的datanode,重新建立只有2个datanode的pipeline,然后接着往这两个节点的pipeline写,直到结束。 

cdh4默认处理时不一样,如果当前pipeline有3个datanode,有一个出了问题,那么把这个从pipeline中移除,然后向namenode在申请一个新的datanode,从其中一个好的datanode上面的块数据拷贝到这个新的datanode,然后建立一个新的3个datanode的pipeline。 

 

cdh4这个策略可以配置,见类ReplaceDatanodeOnFailure,默认见下面:

  public static final String  DFS_CLIENT_WRITE_REPLACE_DATANODE_ON_FAILURE_ENABLE_KEY = "dfs.client.block.write.replace-datanode-on-failure.enable";
  public static final boolean DFS_CLIENT_WRITE_REPLACE_DATANODE_ON_FAILURE_ENABLE_DEFAULT = true;
  public static final String  DFS_CLIENT_WRITE_REPLACE_DATANODE_ON_FAILURE_POLICY_KEY = "dfs.client.block.write.replace-datanode-on-failure.policy";
  public static final String  DFS_CLIENT_WRITE_REPLACE_DATANODE_ON_FAILURE_POLICY_DEFAULT = "DEFAULT";

 

 

 

分享到:
评论

相关推荐

    CDH4.3.0 HDFS 读写性能测试

    4. **HDFS读性能**:读操作通常从最近的DataNode开始,如果副本分布在不同的节点上,可以并行读取多个副本,提升读取速度。网络带宽和DataNode之间的通信效率是决定读性能的关键因素。 5. **HDFS写性能**:写操作...

    hadoop-2.6.0-cdh5.10.0.tar.gz

    在安装和配置Hadoop 2.6.0-cdh5.10.1时,需要了解集群部署的基本概念,包括NameNode、DataNode、ResourceManager、NodeManager等节点的角色和配置。同时,为了保证集群的稳定运行,需要关注网络设置、安全性配置(如...

    hadoop-CDH4.6-install.docx

    通过以上步骤,我们可以成功地在集群中安装和配置 CDH4,从而构建一个强大的大数据处理平台。这些步骤不仅包括了 Hadoop 生态系统中核心组件的安装配置,还涵盖了关键的安全措施,确保了系统的稳定性和安全性。

    hadoop-2.5.0-cdh5.3.6-src.tar.gz

    《Hadoop 2.5.0-cdh5.3.6 源码解析与应用探索》 Hadoop,作为大数据处理领域的核心组件,一直以来都备受关注。本篇将深入探讨Hadoop 2.5.0-cdh5.3.6版本的源码,解析其设计理念、架构以及主要功能,旨在帮助读者...

    hadoop安装

    4.安装hadoop (3台都安) [root@a1 ~]# tar zxvf hadoop-0.20.2-cdh3u5.tar.gz -C /usr/local 编辑hadoop 配置文件 [root@a1 ~]# cd /usr/local/hadoop-0.20.2-cdh3u5/conf/ [root@a1 conf]# vi hadoop-env.sh ...

    CDH集群常用组件关键参数及修改建议.docx

    1.1.2 **数据节点的服务器线程数**:通过`dfs.datanode.handler.count`参数调整DataNode处理客户端请求的线程数,以适应高并发场景。 1.1.3 **DataNode数据传输线程数**:`dfs.datanode.transfer-to.thread-count`...

    14、HDFS 透明加密KMS

    - Client使用DEK加密文件内容,发送给DataNode存储。 ### 5. 读取解密文件过程 读取过程类似,NameNode直接从文件元数据中获取EDEK,通过KMS解密得到DEK,Client使用DEK解密数据。 通过HDFS的透明加密和KMS,可以...

    大数据技术Hadoop面试题.pdf

    10. 文件上传过程:Client端会将文件切分成Block并直接上传到多个DataNode,NameNode负责协调和复制工作。 11. Hadoop运行模式:包括单机版、伪分布式和分布式。 12. Cloudera CDH安装方式:提供Cloudera Manager...

    大数据面试题.doc

    - 正确答案:b) 写入数据的时候会写到不同机架的 DataNode 中, c) MapReduce 会根据机架获取离自己较近的数据 解析:机架感知能提高数据读写效率,降低网络延迟。 10. Client 端上传文件的过程? - 正确答案:b)...

    Hadoop 100道面试题及答案解析.pdf

    - 为了提高数据的容错性,HDFS中的每个Block通常会保存3份副本,分别存储在不同的DataNode上。 3. **NameNode的角色**: - NameNode是HDFS的主节点,负责元数据的管理,包括文件系统命名空间的维护和Block到...

    hadoop-ms.docx

    - **机架感知**是指Hadoop能够感知到不同DataNode所在的物理位置(如机架),从而实现更高效的网络数据传输和故障恢复。 - 如果一个机架出现问题,不会立即影响到其他机架上的数据读写操作。 - 写入数据时,系统...

    hadoop练习题--带答案-ec053bc6ad02de80d4d840e3.docx

    知识点:Client 端将文件分割成多个 Block,然后依次传输到 DataNode 中。 12. Hadoop 运行的模式有哪些?答案:单机版、伪分布式、分布式。 知识点:Hadoop 可以在不同的模式下运行,每种模式都有其特点和应用...

    大数据技术Hadoop笔试题.doc.docx

    Datanode是Hadoop分布式文件系统的基础存储单元,它们存储实际的数据块并处理来自NameNode和客户端的读写请求。 2. HDFS中的block默认保存3份,选项A。这是为了保证数据的冗余和容错性,即使部分节点故障,数据仍然...

    最新大数据Hadoop面试题!(附答案解析).docx

    - 默认情况下,HDFS中的每个数据块会保存3份副本,分布在不同的机架上,以提高容错性和可用性。 3. **Hadoop集群架构**: - **JobTracker**:在旧版Hadoop中,负责作业调度和任务分配,对应于MapReduce的控制层面...

    大数据面试题.pdf

    默认情况下,HDFS 会将每个数据块复制成三份,分别存放在不同的 DataNode 上,以确保容错性和高可用性。 3. 哪个程序通常与 NameNode 在一个节点启动?答案:A SecondaryNameNode。SecondaryNameNode 主要用于辅助 ...

    大数据技术Hadoop面试题 (2).docx

    10. Client端上传文件时,会将文件切分成Block并直接上传给DataNode,NameNode负责Block的元数据管理,选项b)Client端将文件切分为Block,依次上传是正确的。 11. Hadoop运行的模式包括单机版、伪分布式和分布式,...

    大数据面试题(1).docx

    10. **Client端上传文件过程**:Client端将文件切分成Block,直接上传到DataNode,NameNode负责协调Block复制工作,而不是直接传递数据。 11. **Hadoop运行模式**:Hadoop可以运行在单机版、伪分布式和分布式模式。...

    大数据技术Hadoop笔试题.doc.pdf

    10. 当Client端上传文件时,Client会将文件切分成Block并直接上传给DataNode,NameNode负责Block的元数据管理,所以正确答案是b) Client端将文件切分为Block,依次上传。 11. Hadoop运行的模式包括单机版、伪分布式...

    大数据面试题(1).doc

    10. **Client上传文件**:Client会将文件切分成Block并直接上传到多个DataNode,而不是通过NameNode。 11. **Hadoop运行模式**:Hadoop可以运行在单机版、伪分布式和分布式模式下。 12. **Cloudera CDH安装方式**...

Global site tag (gtag.js) - Google Analytics