compact热门博客列表 - ITeye博客频道

博客专栏推荐

本月博客排行

年度博客排行

hbase 定时进行compact CompactionChecker类

CompactionChecker类定时判断是否进行compact，定时判断间隔hbase.server.compactchecker.interval.multiplier默认1000 @Override protected void chore() { for (HRegion r : this.instance.onlineRegions.values ...

hbase compact

blackproof 评论(0) 有2793人浏览 2015-03-13 17:04

HBase memflush源码分析

源码为0.98.1 HRegionServer中起线程MemStoreFlusher private void initializeThreads() throws IOException { // Cache flushing thread. this.cacheFlusher = new MemStoreFlusher(conf, this); // ...

hbase memflush compact split

blackproof 评论(0) 有1607人浏览 2015-02-14 16:34

hbase compact和split策略

---compact split笔记 compact策略：在启动region之后，memflush之后，用户compact调用compact 使用策略类needsCompaction方法，hfile数量大于hbase.hstore.compaction.min 和 hbase.hstore.compactionThreshold的最大值数（默认值为3） major comp ...

hbase compact split 触发策略

blackproof 评论(0) 有5812人浏览 2015-02-12 17:41

ubuntu 12.04下的eclipse，显得不是那么紧凑，baidu了一把，果然找到了不少有效的办法： 1， http://blog.csdn.net/johnnycode/article/details/7581817,这里，在home目录加个.gtkrc-2.0文件，eclipse马上变的紧凑了。 2，系统有全局菜单，但eclipse却不支持，解决办法在这里： http://hi.ba ...

linux ubuntu eclipse compact 紧凑

chenss 评论(0) 有604人浏览 2014-06-30 23:18

hbase compact源码分析

工作的地方不让上网，回家补个笔记，好惨好惨主要的步骤都在HRegion下的Store compact方法中 Store.compact(final List<StoreFile> filesToCompact, final boolean majorCompaction, final long maxId) ...

hbase compact 源码

blackproof 评论(1) 有1817人浏览 2014-06-05 21:51

hbase region split 源码分析

再次吐槽公司的sb环境，不让上网不能插优盘，今天有事回家写一下笔记HBase region split 在管理集群时，最容易导致hbase节点发生故障的恐怕就是hbase region split和compact的了，日志有split时间太长；文件找不到；split的时候response too slow等等，所以先看看hbase region split源码，希望对以后能有帮助 ...

hadoop split compact 源码分析

blackproof 评论(0) 有7678人浏览 2014-03-26 23:21

hbase写数据过程

博文说明：1、研究版本hbase0.94.12；2、贴出的源代码可能会有删减，只保留关键的代码从client和server两个方面探讨hbase的写数据过程。一、client端 1、写数据API 写数据主要是HTable的单条写和批量写两个API，源码如下： //单条写API public void put(final Put put) throws I ...

hbase 大数据写数据过程 compact split

无尘道长评论(0) 有5182人浏览 2013-11-29 00:10

mongo删除大表之后的操作

一直很好奇mongo执行db.collection.drop之后需不需要优化。所以先查了官方文档: drop 引用 http://docs.mongodb.org/manual/reference/command/drop/ The drop command removes an entire collection from a database. Note that this command ...

mongo drop compact repairDatabase

luozhaoyu 评论(0) 有4311人浏览 2013-09-02 16:38

flush后split和compact后split

什么时候split？当某store所有文件总大小大于某个值时split，注意，并不是判断某个storefile大小大于某个值。什么时候compact? 检查整个region内所有store中任一个store 的总storefile是不是太多了（大于hbase.hstore.blockingStoreFiles(7)），太多了则会先进行compact。 flush会遍历这个region的所有st ...

Hadoop hbase compact split flush

brianf 评论(0) 有1597人浏览 2012-10-11 17:51

Hbase的Region Compact算法实现分析

Hbase的Region Compact算法属于一种多路归并的外排算法。这种算法的特点是，待排序文件本身是有序的，同时打开这些文件，顺序遍历并对比它们的首条数据，最后合并输出为一个文件，多个文件遍历时的首条数据用内存堆进行内排。 Hbase在实现该算法的过程中重要的是下面这五个类。 1.org.apache.hadoop.hbase.regionserver.Store 2.org.apache. ...