Region热门博客列表 - ITeye博客频道

博客专栏推荐

本月博客排行

年度博客排行

HBase Region拆分逻辑

Region拆分 Region的拆分逻辑是通过CompactSplitThread线程的requestSplit方法来触发的，每当执行MemstoreFlush操作时都会调用该方法进行判断，看是否有必要对目标Region进行拆分。拆分前提 Region可拆分的前提是需要满足如下约束条件：目标RegionServer的线上Region数没有达到hbase.re ...

HBase Region 拆分逻辑

aoyouzi 评论(0) 有3171人浏览 2016-05-08 11:13

HBase Region恢复逻辑

Region恢复逻辑 RegionServer出现宕机以后，其上部署的Region将会被Master重新分配处理，由于在宕机前，某些Region的memStore数据可能还没有做flush操作，因� ...

HBase Region 恢复逻辑

aoyouzi 评论(0) 有1968人浏览 2016-05-08 11:11

【原创】HBase如何实现海量数据的毫秒级查询

HBase中单表的数据量通常可以达到TB级或PB级，但大多数情况下数据读取可以做到毫秒级。HBase是如何做到的哪？要想实现表中数据的快速访问，通用的做法是数据保持有序并尽可能的将数据保存在内存里。HBase也是这样实现的。对于海量级的数据，首先要解决存储的问题。数据存储上，HBase将表切分成小一点的数据单位region，托管到RegionServer上，和以前关系数据库分 ...

HBase region BlockCache HFile 布隆过滤器

dujian.gu 评论(0) 有5210人浏览 2015-07-09 16:45

从iOS诞生之日起，系统便配带了定位功能，随着无线互联网的需求，移动功能的日新月异的变化，以及iOS的不断升级，定位功能都有不断的更新，自iOS7加入了iBeacon,为无线移动推送提供了更多的变数以后，在iOS8里面定位功能也有不俗的表现。Core Location framework的变化主要有以下几点：1. 在定位状态中引入Always 和WhenInUse的概念。2. 加入Visit m ...

monitor region Always WhenInUse CLLocation

wsjiang 评论(0) 有1771人浏览 2014-12-17 12:16

extjs面板布局报错：No center region defined in BorderLayout

ext面板布局时js报错No center region defined in BorderLayout，原因是父面板的layout属性为border，那么他的子面板中得有一个面板的region属性为center

ext js border layout region

men4661273 评论(0) 有5251人浏览 2014-09-26 21:37

[Binospace] HBase实战系列2—Region监控

1、背景随着大数据表格应用的驱动，我们的HBase集群越来越大，然而由于机器、网络以及HBase内部的一些不确定性的bug，使得系统面临着一些不确定性的故障。因此，HBase上有很多的Region组成，需要控制每个表格的Region的状态。分析： 1）实时掌控Region的状态。应用的每次访问要直接与HBase某个Region关联，需要探测Table上Region是否处于可用 ...

HBase Region 监控

cloudera 评论(0) 有1552人浏览 2014-03-03 11:13

[Binospace] HBase监控之Region空洞

Region是HBase的资源管理单位，在Region的生命周期内，一个Region迁移会发生在如下的情况下：1）HMaster的Load Balance，造成部分Region在RS之间迁移。默认使用了org.apache.hadoop.hbase.master.DefaultLoadBalancer，仅仅考虑RS上Region个数的分配的均衡性。 2）Region Split过程。这部分内容 ...

HBase Region

cloudera 评论(0) 有1346人浏览 2014-02-28 09:27

adf Region间传值

与上文中bounded Task Flow间传值类似，不同的是传递的值在定义region页面的定义文件中找到task flow。然后在修改，填入参数值。而不是通过task Flow的src文件.

adf region 传参

wangqi101023 评论(0) 有822人浏览 2013-08-05 10:08

HBase minor & major compactions

HBase The Definitive Guide Book Says: Since flushing memstores to disk causes more and more HFile's to be created, HBase has a housekeeping mechanism that merges the files into larger ones using ...

hbase region store files minor compactions major compactions

greatwqs 评论(0) 有1137人浏览 2013-07-23 17:46

hbase 优化

文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个regio ...

hbase 优化 region mapreduce

ganliang13 评论(0) 有1598人浏览 2013-06-07 20:01

[HBase]Region assignment

接上文，我们创建表t1，列族c1，hbase.root目录为/new。当创建空表时，系统会自动生成一个空region，我们以这个region分配过程看下Region是如何在HMaster和Region server(以下简称rs)中创建的。大致过程如下： 1.HMaster指定分配计划，一个region只会分配给一个rs，多个rs均匀分配 2.多个rs并发执行assiagnment操作 ...

hbase region assigment

iwinit 评论(0) 有6629人浏览 2013-02-28 17:05

HBase中 Region类

一个Region在HBase中用一个HRegionInfo表示。该类定义在文件HRegionInfo.java中。一个Region包括如下几个重要属性： // 代表Region的开始Key byte [] startKey = HConstants.EMPTY_BYTE_ARRAY; // 代表Region的结束Key byte [] endKey = HConstants.EMPTY_BYTE ...

hbase region

SSTICK 评论(0) 有1412人浏览 2012-08-15 11:09

Hbase region split源代码阅读笔记

客户端 1. HbaseAdmin.split(final byte [] tableNameOrRegionName, final byte [] splitPoint) 这个方法首先判断参数是regionName还是tableName；如果是regionName则只分裂该region,如果是tableName则分裂该表下的所有region if (isRegionName(tab ...

region split hbaseadmin hbase 源代码

uestzengting 评论(0) 有3205人浏览 2011-12-07 00:03

Hbase bulkload源代码阅读笔记

1.LoadIncrementalHFiles.doBulkLoad(Path hfofDir, HTable table) 首先用discoverLoadQueue方法扫描出hfofDir下有哪些fhile文件，再循环调用tryLoad方法把每个文件load进去，这是一个串行的过程。 Deque<LoadQueueItem> queue = null; qu ...

bulkload hbase store LoadIncrementalHFiles region

uestzengting 评论(0) 有6042人浏览 2011-12-06 00:21

HBase HMerge源代码阅读和修改

随着Hbase里删除的进行，有些Region的数据会越来越少，而HBase不会主动去回收这些Region，因此会造成Region越来越多。HBase里提供了一个工具类HMerge，直接拿过来用却并不能运行，按照自已对HBase的理解对HMerge稍做修改，使其可以运行。运行时不需要Disable表，但需要注意的是在运行时如果同时往该表里put数据，可能会有问题，改后的代码如下： /** * Co ...

HMerge Region Hbase 源代码

uestzengting 评论(0) 有2207人浏览 2011-11-14 19:50