- 浏览: 109240 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
zenoh:
是啊,我也纳闷,apache hadoop2.2.0的已经修复 ...
安装CDH5 hadoop2.2.0遇到的配置问题 -
Molisa:
你好,我有两个问题请教一下:1.为了密码安全,你有没有试过使用 ...
使用oozie调度sqoop从oracle导入hbase
今天在使用hadoop fsck / 命令查看hadoop dfs时,输出如下:
.............................................
/user/hadoop/.staging/job_1381991904684_0036/libjars/zookeeper-3.4.5-cdh4.3.0.jar: Under replicated BP-2044520431-132.35.141.65-1381473011645:blk_-7907774648029476743_40033. Target Replicas is 10 but found 4 replica(s).
......................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
...................................................Status: HEALTHY
Total size: 4583923103 B
Total dirs: 2807
Total files: 11151 (Files currently being written: 4)
Total blocks (validated): 11165 (avg. block size 410561 B)
Minimally replicated blocks: 11165 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 26 (0.23287058 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 2
Average block replication: 2.0206
Corrupt blocks: 0
Missing replicas: 156 (0.68674064 %)
Number of data-nodes: 4
Number of racks: 2
FSCK ended at Fri Oct 18 09:58:48 CST 2013 in 1237 milliseconds
副本缺失率为0.68674064 %,在副本数一下的块数有26块,这26个块日志输入分别为Target Replicas is 10 but found 4 replica(s). 这个可能是由于前期的原因造成的。 我目前的集群设置的副本数为2,可以使用下列命令将这些块的副本数更改了:
hadoop fs -setrep -R 2 /user/hadoop/.staging
注意一点:一个文件,上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数,对已经上传了的文件也不会起作用。
.............................................
/user/hadoop/.staging/job_1381991904684_0036/libjars/zookeeper-3.4.5-cdh4.3.0.jar: Under replicated BP-2044520431-132.35.141.65-1381473011645:blk_-7907774648029476743_40033. Target Replicas is 10 but found 4 replica(s).
......................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
...................................................Status: HEALTHY
Total size: 4583923103 B
Total dirs: 2807
Total files: 11151 (Files currently being written: 4)
Total blocks (validated): 11165 (avg. block size 410561 B)
Minimally replicated blocks: 11165 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 26 (0.23287058 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 2
Average block replication: 2.0206
Corrupt blocks: 0
Missing replicas: 156 (0.68674064 %)
Number of data-nodes: 4
Number of racks: 2
FSCK ended at Fri Oct 18 09:58:48 CST 2013 in 1237 milliseconds
副本缺失率为0.68674064 %,在副本数一下的块数有26块,这26个块日志输入分别为Target Replicas is 10 but found 4 replica(s). 这个可能是由于前期的原因造成的。 我目前的集群设置的副本数为2,可以使用下列命令将这些块的副本数更改了:
hadoop fs -setrep -R 2 /user/hadoop/.staging
注意一点:一个文件,上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数,对已经上传了的文件也不会起作用。
发表评论
-
-snn.saturn.local:8485 failed on connection exception: java.net.ConnectException
2014-05-07 15:12 02014-01-26 00:46:35,631 INFO ... -
Hadoop 归档 和HIVE 如何使用har 归档 文件
2014-05-01 23:47 1055Hadoop archive 唯一的优势可能就是将众多的小 ... -
Hadoop的JVM重用
2014-05-01 20:21 1098Hadoop中有个参数是mapred.job.reuse. ... -
Hadoop 优化总结(一)
2014-04-27 12:09 15961. 使用自定义Writable 自带的Text很好用,但 ... -
hadoop调优
2014-04-26 12:01 0硬件级别提高磁盘IO的 ... -
启动hadoop 报错:A fatal error has been detected by the Java Runtime
2014-04-25 10:10 0今天在重启hadoop集群的时候,一个节点报了下面的一个错,由 ... -
java.io.IOException: Cannot obtain block length for LocatedBlock{BP-
2014-04-25 10:07 0今天的job在执行的时候,出现了下述的异常: java. ... -
hadoop报的一个job提交的错
2014-04-24 10:56 0Diagnostics: Application a ... -
hadoop hdfs HA 启动不了ZKFC
2014-04-23 11:47 0测试环境master1 系统重做了,原来的所有数据都丢失,后来 ... -
Hadoop平台优化综述(一)
2014-04-19 18:48 01. 概述 随着企业 ... -
大数据处理分析的六大最好工具
2014-04-19 11:59 0Hadoop Hadoop 是一个能够对大量数据进行分布式处 ... -
Shuffle$ShuffleError
2014-04-06 10:10 0Error: org.apache.hadoop.mapr ... -
hadoop2.2.0 CDH 源码编译
2014-03-27 13:29 01 下载 源码 wget chd5 2 安装软件 yum ... -
Map/Reduce Task JVM 堆大小设置优化
2014-03-13 15:15 1892前一阵子发现用户提交的hive query和hadoop jo ... -
hadoop参数配置优化
2014-03-13 15:12 721hadoop.tmp.dir 默认值: /tmp 说明: 尽 ... -
Hadoop为什么处理小数据量时效果不好?
2014-03-11 16:50 1170Every file, directory and bloc ... -
Hadoop : MapReduce中的Shuffle和Sort分析
2014-03-03 14:06 887MapReduce 是现今一个非常流行的分布式计算框架,它被 ... -
关于Hadoop的shuffle
2014-03-03 11:16 886我们知道每个reduce task输入的key都是按照k ... -
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError:
2014-03-01 23:17 4278hadoop执行JOB在reduce阶段 ... -
hadoop Caused by: java.io.IOException: Filesystem closed
2014-02-25 13:46 6542今天在执行hive的时候报了下面的错: 2014-02 ...
相关推荐
Hadoop,一个由Apache基金会所开发的分布式系统基础架构,是大数据处理领域的重要工具。本文将详细阐述如何在CentOS7操作系统上安装和配置Hadoop 3.1.3版本,旨在帮助用户了解并掌握Hadoop的基本操作。 一、系统...
在大数据处理领域,Hadoop是一个不可或缺的核心组件,它提供了分布式存储和计算的能力。Hadoop 2.x 是Hadoop发展的一个重要阶段,引入了许多关键改进,增强了系统的稳定性和可扩展性。本文将详细介绍如何在三节点...
在IT领域,Hadoop是一个广泛使用的开源大数据处理框架,它主要设计用于分布式存储和处理海量数据。本教程将深入探讨如何在单节点环境中部署Hadoop 2.x版本,这对于初学者理解和测试Hadoop功能非常有帮助。我们将关注...
Hadoop 2.9.0作为该生态系统中的一个版本,同样遵循着软件迭代的规律,在该版本中,一些属性被标记为已废除,并且提供了新的属性名称来替代它们。废除的属性通常是因为它们已经不再被需要,或者有更好的替代方案出现...
Hadoop是Apache基金会下的一个开放源代码项目,主要用于大数据存储和处理。Hadoop核心组件包括HDFS(Hadoop Distributed File System)、MapReduce和YARN(Yet Another Resource Negotiator)。HDFS是一种分布式文件...
Hadoop是一种能够存储和处理大量数据的分布式计算框架,而HBase则是在Hadoop之上构建的一个分布式列式存储系统。本文将详细介绍如何在三台虚拟机上安装配置Hadoop-0.20.205.0和HBase-0.90.5,包括单机模式和集群模式...
<name>dfs.replication <value>1 <name>dfs.name.dir <value>C:\hadoop\data\namenode <name>dfs.data.dir <value>C:\hadoop\data\datanode ``` 这里,你需要根据自己的磁盘情况调整目录路径。 ...
Hadoop 2.7.1是Hadoop的一个稳定版本,包含了HDFS(Hadoop Distributed File System)和MapReduce等核心组件。Hadoop.dll是Windows系统下的一个动态链接库文件,它在Windows环境下提供Hadoop运行所需的函数接口。...
在Hadoop生态系统中,Hadoop 2.7.3是一个重要的版本,它包含了多项改进和优化,使得分布式存储和计算更加高效。对于Windows用户来说,使用Hadoop可能会遇到一些特定的挑战,因为Hadoop最初是为Linux环境设计的。在这...
Hadoop是一个开源的分布式计算框架,广泛应用于大数据处理和存储。以下是详细的步骤和注意事项,确保您能够成功地搭建起一个运行在CentOS7上的Hadoop集群。 一、系统准备 在开始安装前,确保您的CentOS7系统是最新...
在本文中,我们将详细探讨如何在单台机器上安装Hadoop,这是一个适合初学者理解Hadoop工作原理和环境配置的入门步骤。Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在廉价硬件上处理和存储大量数据...
4. **设置HADOOP_DIR_HOME**:创建一个新的系统变量`HADOOP_DIR_HOME`,并将值设为你想要Hadoop使用的本地数据目录,例如`C:\hadoop\data`。 5. **配置hadoop-env.cmd**:在`HADOOP_HOME\conf`目录下,打开`hadoop-...
首先,Hadoop是Apache软件基金会开发的一个开源分布式计算框架,主要处理海量数据,它基于Java语言实现,支持跨平台运行。Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,前者用于存储...
Hadoop是一个开源的分布式计算框架,它由Apache基金会开发,旨在处理和存储大量数据。本文将围绕Hadoop 2.9.1版本在Linux环境下的安装、配置及使用进行详细阐述。 一、Hadoop简介 Hadoop的核心组成部分包括HDFS...
Hadoop 是一个开源框架,它允许高效地存储和处理海量数据,而伪分布式安装模式是单台机器上模拟分布式环境的常见方法,适用于学习和测试。下面,我们将详细介绍如何在Ubuntu操作系统上进行这个过程。 首先,理解...
- 设置`fs.defaultFS`、`hadoop.tmp.dir`、`dfs.replication`等参数。 - 配置YARN资源管理器、节点管理器等。 - 同步配置文件到所有节点。 - **格式化HDFS**:在NameNode上执行`hdfs namenode -format`来初始化...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分析。它允许分布式存储和并行处理大量数据,极大地提升了处理效率。本教程将详细讲解如何在Windows环境下配置Hadoop本地开发环境,以及如何利用...
Hadoop 2.x 版本是该系列中的一个重要版本,它引入了许多重要的改进和新特性,包括但不限于 YARN(Yet Another Resource Negotiator)资源管理器的引入以及对HDFS(Hadoop Distributed File System)高可用性的支持...
在hdfs-site.xml文件中,需要配置dfs.replication和dfs.data.dir两个参数。dfs.replication参数指定了HDFS的数据副本数量,而dfs.data.dir参数指定了HDFS的数据目录。 在yarn-site.xml文件中,需要配置yarn....
3. `dfs.replication`: 定义了HDFS中每个文件的副本数量,默认为3。这个值可以根据集群规模和可用磁盘空间进行调整。 4. `dfs.namenode.name.dir`: 这个属性指定了NameNode保存元数据的本地文件系统路径,即名称...