`
tangjunliang
  • 浏览: 109240 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于hadoop的dfs.replication 的一个问题

阅读更多
今天在使用hadoop fsck / 命令查看hadoop dfs时,输出如下:
.............................................
/user/hadoop/.staging/job_1381991904684_0036/libjars/zookeeper-3.4.5-cdh4.3.0.jar:  Under replicated BP-2044520431-132.35.141.65-1381473011645:blk_-7907774648029476743_40033. Target Replicas is 10 but found 4 replica(s).
......................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
...................................................Status: HEALTHY
Total size: 4583923103 B
Total dirs: 2807
Total files: 11151 (Files currently being written: 4)
Total blocks (validated): 11165 (avg. block size 410561 B)
Minimally replicated blocks: 11165 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 26 (0.23287058 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 2
Average block replication: 2.0206
Corrupt blocks: 0
Missing replicas: 156 (0.68674064 %)
Number of data-nodes: 4
Number of racks: 2
FSCK ended at Fri Oct 18 09:58:48 CST 2013 in 1237 milliseconds

副本缺失率为0.68674064 %,在副本数一下的块数有26块,这26个块日志输入分别为Target Replicas is 10 but found 4 replica(s).  这个可能是由于前期的原因造成的。 我目前的集群设置的副本数为2,可以使用下列命令将这些块的副本数更改了:
hadoop fs -setrep -R 2 /user/hadoop/.staging

注意一点:一个文件,上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数,对已经上传了的文件也不会起作用。
分享到:
评论

相关推荐

    hadoop-3.1.3.tar.gz

    Hadoop,一个由Apache基金会所开发的分布式系统基础架构,是大数据处理领域的重要工具。本文将详细阐述如何在CentOS7操作系统上安装和配置Hadoop 3.1.3版本,旨在帮助用户了解并掌握Hadoop的基本操作。 一、系统...

    Hadoop2.X集群安装与配置

    在大数据处理领域,Hadoop是一个不可或缺的核心组件,它提供了分布式存储和计算的能力。Hadoop 2.x 是Hadoop发展的一个重要阶段,引入了许多关键改进,增强了系统的稳定性和可扩展性。本文将详细介绍如何在三节点...

    Hadoop 2.x单节点部署学习。

    在IT领域,Hadoop是一个广泛使用的开源大数据处理框架,它主要设计用于分布式存储和处理海量数据。本教程将深入探讨如何在单节点环境中部署Hadoop 2.x版本,这对于初学者理解和测试Hadoop功能非常有帮助。我们将关注...

    Hadoop 2.9.0 已废除属性集

    Hadoop 2.9.0作为该生态系统中的一个版本,同样遵循着软件迭代的规律,在该版本中,一些属性被标记为已废除,并且提供了新的属性名称来替代它们。废除的属性通常是因为它们已经不再被需要,或者有更好的替代方案出现...

    第3集-Hadoop环境搭建 - linux(centos7) - 安装配置hadoop2.7.7.pdf

    Hadoop是Apache基金会下的一个开放源代码项目,主要用于大数据存储和处理。Hadoop核心组件包括HDFS(Hadoop Distributed File System)、MapReduce和YARN(Yet Another Resource Negotiator)。HDFS是一种分布式文件...

    hadoop-0.20.205.0和hbase-0.90.5,集群和单机 安装配置

    Hadoop是一种能够存储和处理大量数据的分布式计算框架,而HBase则是在Hadoop之上构建的一个分布式列式存储系统。本文将详细介绍如何在三台虚拟机上安装配置Hadoop-0.20.205.0和HBase-0.90.5,包括单机模式和集群模式...

    winutils.exe + hadoop.dll

    <name>dfs.replication <value>1 <name>dfs.name.dir <value>C:\hadoop\data\namenode <name>dfs.data.dir <value>C:\hadoop\data\datanode ``` 这里,你需要根据自己的磁盘情况调整目录路径。 ...

    hadoop2.7.1 windows7 32 位 hadoop.dll winutils.exe

    Hadoop 2.7.1是Hadoop的一个稳定版本,包含了HDFS(Hadoop Distributed File System)和MapReduce等核心组件。Hadoop.dll是Windows系统下的一个动态链接库文件,它在Windows环境下提供Hadoop运行所需的函数接口。...

    hadoop 2.7.3 hadoop.dll 和winutils.exe

    在Hadoop生态系统中,Hadoop 2.7.3是一个重要的版本,它包含了多项改进和优化,使得分布式存储和计算更加高效。对于Windows用户来说,使用Hadoop可能会遇到一些特定的挑战,因为Hadoop最初是为Linux环境设计的。在这...

    CentOS7 Hadoop 2.7.X 安装部署.rar

    Hadoop是一个开源的分布式计算框架,广泛应用于大数据处理和存储。以下是详细的步骤和注意事项,确保您能够成功地搭建起一个运行在CentOS7上的Hadoop集群。 一、系统准备 在开始安装前,确保您的CentOS7系统是最新...

    单机_hadoop安装.docx

    在本文中,我们将详细探讨如何在单台机器上安装Hadoop,这是一个适合初学者理解Hadoop工作原理和环境配置的入门步骤。Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在廉价硬件上处理和存储大量数据...

    winutils.exe_hadoop-3.0.0

    4. **设置HADOOP_DIR_HOME**:创建一个新的系统变量`HADOOP_DIR_HOME`,并将值设为你想要Hadoop使用的本地数据目录,例如`C:\hadoop\data`。 5. **配置hadoop-env.cmd**:在`HADOOP_HOME\conf`目录下,打开`hadoop-...

    在Windows上安装Hadoop教程.zip_YJVH_hadoop_hadoop book

    首先,Hadoop是Apache软件基金会开发的一个开源分布式计算框架,主要处理海量数据,它基于Java语言实现,支持跨平台运行。Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,前者用于存储...

    hadoop-2.9.1.tar.gz

    Hadoop是一个开源的分布式计算框架,它由Apache基金会开发,旨在处理和存储大量数据。本文将围绕Hadoop 2.9.1版本在Linux环境下的安装、配置及使用进行详细阐述。 一、Hadoop简介 Hadoop的核心组成部分包括HDFS...

    03 云计算与大数据培训课程_Hadoop2.x64位伪分布式安装指南(Ubuntu).zip

    Hadoop 是一个开源框架,它允许高效地存储和处理海量数据,而伪分布式安装模式是单台机器上模拟分布式环境的常见方法,适用于学习和测试。下面,我们将详细介绍如何在Ubuntu操作系统上进行这个过程。 首先,理解...

    hadoop2.x集群搭建(1.0).txt

    - 设置`fs.defaultFS`、`hadoop.tmp.dir`、`dfs.replication`等参数。 - 配置YARN资源管理器、节点管理器等。 - 同步配置文件到所有节点。 - **格式化HDFS**:在NameNode上执行`hdfs namenode -format`来初始化...

    Hadoop本地环境配置 需要的文件hadoopdll和winutilexe.zip

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分析。它允许分布式存储和并行处理大量数据,极大地提升了处理效率。本教程将详细讲解如何在Windows环境下配置Hadoop本地开发环境,以及如何利用...

    hadoop 2.x 版本概要讲解,HA搭建指南

    Hadoop 2.x 版本是该系列中的一个重要版本,它引入了许多重要的改进和新特性,包括但不限于 YARN(Yet Another Resource Negotiator)资源管理器的引入以及对HDFS(Hadoop Distributed File System)高可用性的支持...

    单机Hadoop配置安装

    在hdfs-site.xml文件中,需要配置dfs.replication和dfs.data.dir两个参数。dfs.replication参数指定了HDFS的数据副本数量,而dfs.data.dir参数指定了HDFS的数据目录。 在yarn-site.xml文件中,需要配置yarn....

    Hadoop搭建的源代码.doc

    3. `dfs.replication`: 定义了HDFS中每个文件的副本数量,默认为3。这个值可以根据集群规模和可用磁盘空间进行调整。 4. `dfs.namenode.name.dir`: 这个属性指定了NameNode保存元数据的本地文件系统路径,即名称...

Global site tag (gtag.js) - Google Analytics