最新文章列表

hbase hlog源码

  HLog线程的启动入口:      HRegionServer启动线程 private void startServiceThreads() throws IOException {..... Threads.setDaemonThreadRunning(this.hlogRoller.getThread(), n + ".logRoller", ...
blackproof 评论(0) 有1887人浏览 2015-04-03 18:20

HBase HFile和Hlog的cleaner执行流程和配置项

HFile和Hlog是HBase中两大文件存在格式,HFile用于存储数据,Hlog用于保证数据写入HFile中。 两者都有自己的cleaner逻辑。HFileCleaner和LogCleaner都是继承CleanerChore类 public class HFileCleaner extends CleanerChore<BaseHFileCleanerDelegate> public ...
brianf 评论(0) 有5875人浏览 2013-06-09 14:50

HBase HLog结构和原理

一. HLog在HDFS上位置和RegionServer对应关系 HLog持久化在HDFS之上, HLog存储位置查看: hadoop fs -ls /hbase/.logs 通过HBase架构图, HLog与HRegionServer一一对应, Found 5 items ...
greatwqs 评论(3) 有15021人浏览 2013-04-11 21:06

HLog代码分析及与HBase replication延时

在分享replication时,有同事提出replication延时怎么样,(基于0.94.3) 本文主要代码分析一下Hlog生成及对relication的影响。具体replication请参考 http://brianf.iteye.com/blog/1776936 首先分析hlog什么时候产生: 在生成HLog对象时,会调用HLog的rollWriter(),此时由于this.writer为 ...
brianf 评论(0) 有2768人浏览 2013-02-19 19:51

【HBase工具】查看解析HLog

查看解析HLog也是HBase本身自带的一个小工具 使用很简单: $ ${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.regionserver.wal.HLog Usage: HLog <ARGS> Arguments: --dump  Dump textual representation of passed one or mor ...
shenchunhui 评论(0) 有4713人浏览 2012-11-27 10:16

Hbase的log管理(二)

1.在Hbase的log管理(一)中,描述了Hbase对于Hlog的更新和清理过程。其中提到会把已经写入磁盘的log文件move到.oldlog文件中,那么.oldlog中的文件又如何处理呢? HMaster启动的时候会起一个守护线程LogCleaner,专门清理oldlog中的文件,频率是60s 2.数据以KeyValue形式到达HRegionServer,将写入WAL之后,写入一个Sequen ...
punishzhou 评论(0) 有2287人浏览 2011-12-01 20:39

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics