- 浏览: 306546 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (165)
- hadoop (47)
- linux (11)
- nutch (7)
- hbase (7)
- solr (4)
- zookeeper (4)
- J2EE (1)
- jquery (3)
- java (17)
- mysql (14)
- perl (2)
- compass (4)
- suse (2)
- memcache (1)
- as (1)
- roller (1)
- web (7)
- MongoDB (8)
- struts2 (3)
- lucene (2)
- 算法 (4)
- 中文分词 (3)
- hive (17)
- noIT (1)
- 中间件 (2)
- maven (2)
- sd (0)
- php (2)
- asdf (0)
- kerberos 安装 (1)
- git (1)
- osgi (1)
- impala (1)
- book (1)
- python 安装 科学计算包 (1)
最新评论
-
dandongsoft:
你写的不好用啊
solr 同义词搜索 -
黎明lm:
meifangzi 写道楼主真厉害 都分析源码了 用了很久. ...
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
meifangzi:
楼主真厉害 都分析源码了
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
zhdkn:
顶一个,最近也在学习设计模式,发现一个问题,如果老是看别人的博 ...
Java观察者模式(Observer)详解及应用 -
lvwenwen:
木南飘香 写道
高并发网站的架构
转载:http://hi.baidu.com/hovlj_1130/blog/item/20200da530603af99052eed9.html
hadoop hdfs balance
最近集群的某些dump节点容量报警,hadoop dfsadmin -report可以发现,报警的节点,均为日志上传至hdfs的节点,在hadoop fs -put时,大部分hdfs文件都直接保存在了put的节点.
因此需要使用hadoop Balancer Administrator Guide.
下面是E文描述:
The balancer is a tool that balances disk space usage on an HDFS cluster when some
datanodes become full or when new empty nodes join the cluster. The tool is deployed as
an application program that can be run by the cluster administrator on a live HDFS
cluster while application adding and deleting files.
SYNOPSIS
To start:
bin/start-balancer.sh [-threshold <threshold>]
Example: bin/ start-balancer.sh
start the balancer with a default threshold of 10%
bin/ start-balancer.sh -threshold 5
start the balancer with a threshold of 5%
To stop:
bin/ stop-balancer.sh
DESCRIPTION
The threshold parameter is a fraction in the range of (0%, 100%) with a default value of
10%. The threshold sets a target for whether the cluster is balanced. A cluster is balanced
if for each datanode, the utilization of the node (ratio of used space at the node to total
capacity of the node) differs from the utilization of the cluster (ratio of used space in the
cluster to total capacity of the cluster) by no more than the threshold value. The smaller
the threshold, the more balanced a cluster will become. It takes more time to run the
balancer for small threshold values. Also for a very small threshold the cluster may not be
able to reach the balanced state when applications write and delete files concurrently.
The tool moves blocks from highly utilized datanodes to poorly utilized datanodes
iteratively. In each iteration a datanode moves or receives no more than the lesser of 10G
bytes or the threshold fraction of its capacity. Each iteration runs no more than 20
minutes. At the end of each iteration, the balancer obtains updated datanodes information
from the namenode.
A system property that limits the balancer’s use of bandwidth is defined in the default
configuration file:
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>1048576</value>
<description> Specifies the maximum bandwidth that each datanode can utilize for the
balancing purpose in term of the number of bytes per second. </description>
</property>
This property determines the maximum speed at which a block will be moved from one
datanode to another. The default value is 1MB/s. The higher the bandwidth, the faster a
cluster can reach the balanced state, but with greater competition with application
processes. If an administrator changes the value of this property in the configuration file,
the change is observed when HDFS is next restarted.
在使用start-balancer.sh时,如果在hdfs-site.xml里面没有配置dfs.balance.bandwidthPerSec,那么集群hdfs内部默认使用1M/S的速度移动数据(so slowly...),我们可以通过在hdfs-site.xml里面配置dfs.balance.bandwidthPerSec来加快balance的速度。
最开始我们配置的是20m/S
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>20971520</value>
<description> Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second. </description>
</property>
然后结果是导致job运行变得不稳定,出现一些意外的长map单元,某些reduce时间处理变长(整个集群负载满满的情况下,外加20m/s的balance),在前天的中国hadoop年会上听淘宝调整的为10m/s,需要调整后实验,看看情况如何。
另外再修改dfs.balance.bandwidthPerSec参数后,需要在namenode上运行stop-dfs.sh start-dfs.sh重启hdfs生效。
发表评论
-
博客地址变更
2013-08-16 10:29 1220all the guys of visiting the bl ... -
hadoop 源码分析(六)hadoop taskTracker 生成map 和reduce任务流程
2013-04-09 17:36 2750taskTracker 生成map reduce ... -
hadoop 源码分析(六)hadoop taskTracker 生成map 和reduce任务流程
2013-04-09 17:33 0taskTracker 生成map reduce ... -
hadoop 源码分析(五)hadoop 任务调度TaskScheduler
2013-04-01 11:07 3948hadoop mapreduce 之所有能够实现job的运行 ... -
hadoop 源码分析(四)JobTracker 添加job 到schduler 队列中
2013-03-29 18:37 2883启动 JobTracker 1. 进入main方法: ... -
hadoop 源码分析(三) hadoop RPC 机制
2013-03-28 15:13 2415Hadoop 通信机制采用自己编写的RPC. 相比于 ... -
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker
2013-03-27 12:57 38031.JobClient 客户端类 通过 ... -
hadoop 源码分析(一) jobClient 提交到JobTracker
2013-03-26 13:41 3620Hadoop 用了2年多了.从最初一起创业的 ... -
RHadoop 安装教程
2013-02-01 17:18 1632RHadoop 环境安装 硬件: centos6 ... -
pig
2012-11-16 19:28 1220转自:http://www.hadoopor.c ... -
hadoop与hive的映射
2012-11-15 10:21 2377hadoop与hive的映射 ... -
hadoop distcp
2012-07-31 10:00 2833hadoop distcp 使用:distcp ... -
MapReduce中Mapper类和Reducer类4函数解析
2012-07-20 18:05 2130MapReduce中Mapper类和Reducer类4函数解析 ... -
hadoop metrics 各参数解释
2012-07-17 18:59 1518hadoop metrics 各参数解释 研究使用hadoo ... -
Hbase几种数据入库(load)方式比较
2012-07-17 14:52 13881. 预先生成HFile入库 这个地址有详细的说明http:/ ... -
Hadoop客户端环境配置
2012-05-11 14:59 1778Hadoop客户端环境配置 1. 安装客户端(通过端用户可以 ... -
hadoop 通过distcp进行并行复制
2012-05-02 15:25 2483通过distcp进行并行复制 前面的HDFS访问模型都集中于 ... -
linux crontab 执行hadoop脚本 关于hadoop环境变量引入
2012-04-10 12:11 0crontab问题 crontab的特点:PATH不全和无终 ... -
hadoop fs 命令封装
2012-04-09 09:39 0hadoop fs 命令封装 #!/usr/bin/env ... -
map-reduce编程核心问题
2012-02-22 13:38 12811-How do we break up a large p ...
相关推荐
【HDFS Balance 脚本】这个脚本展示了如何使用Shell命令进行HDFS的数据均衡操作。脚本中包含两部分关键指令: 1. `sudo -u hdfs hadoop dfsadmin -setBalancerBandwidth 904857600`:这行命令设置了数据均衡操作的...
### Hadoop HDFS 集群 Balance 原理详解 #### 一、引言与目标 在Hadoop分布式文件系统(HDFS)中,数据块的均匀分布对于集群性能至关重要。随着节点的加入或退出,集群可能会出现数据分布不均的情况,导致计算任务...
在使用Hadoop和Hive过程中,可能会遇到一些问题,例如Mapreduce任务结束了,但是Reduce任务停止了,或者HDFS抛出错误等情况。 1. Mapreduce任务结束了,但是Reduce任务停止了 这种情况可能是由于Mapreduce任务的...
在使用 start-balancer.sh 时,如果在 hdfs-site.xml 里面没有配置 dfs.balance.bandwidthPerSec,那么集群 hdfs 内部默认使用 1M/S 的速度移动数据,可以通过配置 dfs.balance.bandwidthPerSec 来加快 balance 的...
在Java大数据领域,Hadoop分布式文件系统(HDFS)是核心组件之一,它为大规模数据存储提供了可扩展、可靠的解决方案。下面将详细解答标题和描述中提到的知识点: 1. **检测损坏的文件及文件系统日常检查**: HDFS...
在使用 start-balancer.sh 命令时,如果在 hdfs-site.xml 文件中没有配置 dfs.balance.bandwidthPerSec 参数,那么集群将使用默认的 1M/S 速度来平衡数据。 四、Hadoop 版本升级 Hadoop 版本升级需要注意以下几点...
HDFS(Hadoop Distributed File System)是 Hadoop 的文件系统,提供了高可靠性和高性能的存储解决方案。HDFS 的主要特点包括: * Erasure Coding:纠错码技术,可以最多几个节点故障,提高数据可靠性。 * 多个 ...
hadoop distcp hdfs://src.example.com/data hdfs://dst.example.com/data ``` **2.3 fs** `fs`命令提供了与HDFS交互的各种操作,包括文件和目录的操作。 **命令格式**: ``` hadoop fs [-help] <command> ... ``...
此外,可以配置`dfs.balance.bandwidthPerSec`来控制数据移动的速度,以避免对其他作业造成过多影响。通常建议在Namenode上执行`stop-dfs.sh`和`start-dfs.sh`来使配置生效,并使用`stop-balancer.sh`停止平衡任务。...
选项B正确,HDFS可以通过balance操作平衡磁盘负载。选项C错误,DataNode之间通常建议数据盘一致以保持平衡。选项D正确,Active和Standby NameNode部署在不同机架上是为了提高高可用性。 2. **HDFS高可靠协调服务**:...
- HDFS可以通过balance操作平衡磁盘间的负载(选项B正确),但通常是在NameNode的指导下进行。 - 在规划HDFS集群时,Active和Standby NameNode应该分布在不同的机架上以提高容错性(选项D正确)。 - HDFS的副本数...
77_hadoop的hdfs常用的命令 78_hadoop的存储过程 79_hadoop的大数据节点% K S, J! U3 W& o2 d) Q 80_hdfs-maven-hdfs API访问8 s8 J# W* l- i% x, ]: L! L 81_hdfs-maven-idea的集成处理 82_hdfs-block大小-副本数...
1.1.5 **平衡带宽**:`dfs.balance.bandwidthPerSec`限制了在HDFS平衡过程中单个DataNode的最大带宽,避免对集群其他服务造成过大影响。 1.1.6 **系统预留磁盘空间**:`dfs.datanode.du.reserved`参数设定为磁盘总...
HBase安装需要先安装Hadoop,因为HBase依赖于Hadoop的分布式文件系统(HDFS)。在安装HBase之前,需要确保Hadoop已经安装并且正在运行。 HBase安装有三种模式:本地模式、伪分布模式和集群模式。其中,伪分布模式是...
美团的日志收集系统基于 Flume 设计和搭建而成,负责美团的所有业务日志的收集,并分别给 Hadoop 平台提供离线数据和 Storm 平台提供实时数据流。系统架构分为三层:Agent 层、Collector 层和 Store 层。 Agent 层...
数据持久化路径应设置为独立的目录,如`/hadoop/zookeeper`和`/hadoop/zookeeper_log`,以保证数据安全和日志记录。session超时时间(`maxSessionTimeout`)可设置为180000毫秒,以适应长时间运行的任务。 HDFS的优化...
HBase,全称为Apache HBase,是一种构建在Apache Hadoop文件系统(HDFS)之上的开源、分布式、列式存储的NoSQL数据库。它为大规模数据集提供了随机、实时的读写访问能力。HBase的设计灵感来源于Google的Bigtable,...
针对此问题,Apache JIRA上的HDFS-3359问题提供了深入讨论和解决方案,通过优化HDFS与Hadoop CDH3U4的兼容性,可以显著改善这一状况。 ##### RowKey设计与Batch处理优化 RowKey的设计对于数据分布和查询性能至关...
- **架构**:Chukwa包含Adaptor、Collector、Hadoop档案系统(HDFS)和Chukwa Agent,支持复杂的调度和恢复策略。 - **特性**:Chukwa强调数据的持久化和低延迟,适用于监控和故障排查。 5. **Scribe** - **简介**...