`
heipark
  • 浏览: 2097692 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop服务器磁盘损坏的处理办法

 
阅读更多

hadoop设备经常会发生磁盘只读或者损坏的情况,出现这样的问题,datanode和tasktracker会无法启动。解决办法如下:

 

 

让datanode正常运行,需要设置系统可以容忍的损坏磁盘数,默认为0:

 

 

  <property>
    <name>dfs.datanode.failed.volumes.tolerated</name>
    <value>3</value>
  </property>

 

 

让TT(tasktracker)正常运行,这个我没有找到更好的办法, TT会写文件到"mapred.local.dir"中目录,hadoop没有提供相关的解决办法,退一步的处理办法mkdir,然后把损坏的目录盘挂到创建的DIR下。

 

-- heipark

 

 

分享到:
评论

相关推荐

    HADOOP的问题和下一代解决方案

    灾难恢复和备份方面,Hadoop通过数据复制来应对磁盘故障,但对于数据损坏和人为错误却无能为力。商业版本Hadoop会生成数据快照,但这些快照仅仅是元数据副本。PARAFS的快照功能则允许近乎瞬时的数据拷贝,即便文件...

    高可用性的HDFS:Hadoop分布式文件系统深度实践

    6.2.3 NFS服务器构建 6.2.4 Avatar分发与部署 6.2.5 Primary(namenode0)节点配置 6.2.7 Data Node节点配置 6.2.8 Client节点配置 6.2.9 创建目录 6.2.10 挂载NFS 6.2.11 启动Ucarp 6.2.12 格式化 6.2.13 系统启动 ...

    CDH搭建hadoop环境文档指南

    Hadoop是一个开源的框架,允许分布式存储和处理大数据集。它基于Google的MapReduce和Google File System(GFS)技术,并由Apache软件基金会开发。Hadoop是用Java编写的,并在分布式环境下提供数据存储和处理的能力。...

    Dell R820调整磁盘raid设置

    通过对Dell R820服务器磁盘RAID配置的调整,不仅可以满足山东联通基层责任单元系统数据库主机从Hadoop集群向Oracle数据库服务器的转变需求,还能够充分利用现有的硬盘资源,提高数据的安全性和可靠性。通过本指南...

    hadoop笔记

    ### Hadoop核心知识点详解 #### 一、HDFS读写过程 **1. 写数据流程** - **客户端发起请求**:用户通过命令`hdfs dfs -put /etc/profile/qf/data`请求上传文件。 - **Namenode验证路径**:Namenode检查指定路径`/...

    云计算基础课件—Hadoop:Google云计算的开源实现 dr.ppt

    通过以上介绍可以看出,Hadoop不仅仅是一个文件系统,而是一个完整的生态系统,包括了数据存储(HDFS)、数据处理(MapReduce)和数据管理(HBase)等多个方面。Hadoop的广泛使用不仅限于学术研究,还广泛应用于商业...

    大数据技术Hadoop面试题,看看你能答对多少?(3).pdf

    7. **HDFS健康检查**:`hadoopdfsadmin -report`命令用于报告HDFS的状态,包括损坏的Block,但不是专门用于检测损坏块。 8. **调度器策略**:Hadoop默认的调度器策略是FIFO(先进先出),适用于简单的工作流。 9. ...

    大数据方向面试题大全.pdf

    4. Hadoop和Spark的相同点和不同点:两者都是大数据处理框架,Hadoop依赖磁盘,Spark依赖内存。 5. RDD持久化原理:RDD持久化通过Lineage信息,使数据可以被重新计算。 6. Checkpoint检查点机制:Checkpoint机制...

    socket文件传输

    解压完成后,服务器可以选择将文件保存到本地磁盘,或者直接处理这些数据。 Hadoop RPC(远程过程调用)在这里虽然没有直接被提及,但它是分布式系统中常见的通信机制,可以与Socket文件传输相比较。Hadoop RPC是...

    大数据面试题(1).docx

    27. **RAID配置**:为了提高数据安全性,集群内推荐配置RAID,以防止单磁盘损坏导致的数据丢失。 28. **NameNode单点问题**:尽管HDFS有多份副本,但NameNode仍然是单点,如果NameNode出现问题,整个HDFS可能无法...

    大数据面试题.pdf

    25. **hadoop dfsadmin –report命令**:该命令用于报告HDFS的总体状态,包括损坏块。选项正确。 26. **默认调度器策略**:Hadoop的默认调度器策略是FIFO(先进先出)。选项正确。 27. **RAID配置**:虽然配置RAID...

    大数据和云计算技术在计费系统的应用研究.pdf

    传统的基于小型机和磁盘阵列的关系型数据库架构在处理大数据量时性能低下,且无法实现灵活的水平扩展,系统扩容周期长、成本高,难以适应快速发展的业务需求。为了解决这些问题,运营商通过深入研究大数据技术,建设...

    大数据面试题 (2).docx

    12. **Cloudera CDH 安装方法**:Cloudera提供了Cloudera Manager、tarball、yum和rpm等多种方式安装CDH(Cloudera Distribution Including Apache Hadoop)。 13. **Ganglia 监控与告警**:Ganglia不仅能够进行...

    The Google File System中文翻译

    主服务器的元数据管理也被优化,以处理数百万个文件和Chunk。 9. **影响与后续发展** GFS的出现启发了Hadoop的HDFS(Hadoop Distributed File System),它在开源社区中广泛使用。现代云存储服务如Amazon S3也借鉴...

    2021Java大厂面试题——大厂真题之唯品会-Java大数据开发工程师.pdf

    深入理解Hadoop Shuffle过程对于优化MapReduce作业的性能非常重要,有助于提高数据处理效率。 #### 四、Spark集群运算模式分析 Apache Spark支持多种集群部署方式,包括但不限于以下几种: - **Standalone模式**:...

    OceanBase 0.4.2 操作指南.pdf

    包括警示标志(可能导致设备损坏或数据丢失)、注意符号(可能导致性能降低或服务不可用)、提示(解决某个问题或节省时间)、附加信息(对正文的强调和补充)以及变量输入、命令关键字、选项选择和可选配置的表示...

    HDFS Design

    一个HDFS实例可能由数百或数千台服务器组成,每台服务器存储文件系统的部分数据。由于组件数量巨大,每个组件都有一定的故障概率,这意味着总有某些组件处于故障状态。因此,HDFS的设计充分考虑到了硬件故障的可能性...

    CentOS安装配置

    综上所述,CentOS因其高稳定性、与RHEL的高度兼容性、免费获取以及便于获取更新等优点,成为了搭建企业级服务器和进行Hadoop集群等大数据处理的理想选择。用户在安装CentOS时,应当注意每个步骤的配置,确保系统安装...

    大数据框架整理

    若服务器磁盘损坏,可通过配置多个`dfs.namenode.name.dir`来挽救数据。 接着,MapReduce是Hadoop处理大数据的主要计算模型。它分为四个主要阶段:FileInputFormat将输入数据拆分成键值对,Map阶段处理这些键值对,...

    分布式存储_姚文辉

    3. **小概率事件的常态化**:例如磁盘损坏、RAID卡故障、网络故障等,在大规模系统中这类事件几乎每天都会发生,如何正确高效地处理这些事件成为关键。 #### 三、分布式存储系统的设计与功能 针对上述挑战,分布式...

Global site tag (gtag.js) - Google Analytics