最新文章列表

HBase Region拆分逻辑

Region拆分 Region的拆分逻辑是通过CompactSplitThread线程的requestSplit方法来触发的,每当执行MemstoreFlush操作时都会调用该方法进行判断,看是否有必要对目标Region进行拆分。 拆分前提 Region可拆分的前提是需要满足如下约束条件: 目标RegionServer的线上Region数没有达到hbase.re ...
aoyouzi 评论(0) 有3180人浏览 2016-05-08 11:13

HBase Region恢复逻辑

Region恢复逻辑 RegionServer出现宕机以后,其上部署的Region将会被Master重新分配处理,由于在宕机前,某些Region的memStore数据可能还没有做flush操作,因 ...
aoyouzi 评论(0) 有1972人浏览 2016-05-08 11:11

【原创】HBase如何实现海量数据的毫秒级查询

HBase中单表的数据量通常可以达到TB级或PB级,但大多数情况下数据读取可以做到毫秒级。HBase是如何做到的哪?要想实现表中数据的快速访问,通用的做法是数据保持有序并尽可能的将数据保存在内存里。HBase也是这样实现的。   对于海量级的数据,首先要解决存储的问题。   数据存储上,HBase将表切分成小一点的数据单位region,托管到RegionServer上,和以前关系数据库分 ...
dujian.gu 评论(0) 有5218人浏览 2015-07-09 16:45

[转] iOS8 定位新增功能

从iOS诞生之日起,系统便配带了定位功能,随着无线互联网的需求,移动功能的日新月异的变化,以及iOS的不断升级,定位功能都有不断的更新,自iOS7加入了iBeacon,为无线移动推送提供了更多的变数以后,在iOS8里面定位功能也有不俗的表现。Core Location framework的变化主要有以下几点:1. 在定位状态中引入Always 和WhenInUse的概念。2. 加入Visit m ...
wsjiang 评论(0) 有1774人浏览 2014-12-17 12:16

extjs面板布局报错:No center region defined in BorderLayout

    ext面板布局时js报错No center region defined in BorderLayout,原因是父面板的layout属性为border,那么他的子面板中得有一个面板的region属性为center
men4661273 评论(0) 有5256人浏览 2014-09-26 21:37

[Binospace] HBase实战系列2—Region监控

1、背景 随着大数据表格应用的驱动,我们的HBase集群越来越大,然而由于机器、网络以及HBase内部的一些不确定性的bug,使得系统面临着一些不确定性的故障。 因此,HBase上有很多的Region组成,需要控制每个表格的Region的状态。   分析: 1)实时掌控Region的状态。应用的每次访问要直接与HBase某个Region关联,需要探测Table上Region是否处于可用 ...
cloudera 评论(0) 有1556人浏览 2014-03-03 11:13

[Binospace] HBase监控之Region空洞

Region是HBase的资源管理单位,在Region的生命周期内,一个Region迁移会发生在如下的情况下:1)HMaster的Load Balance,造成部分Region在RS之间迁移。默认使用了org.apache.hadoop.hbase.master.DefaultLoadBalancer,仅仅考虑RS上Region个数的分配的均衡性。 2)Region Split过程。这部分内容 ...
cloudera 评论(0) 有1348人浏览 2014-02-28 09:27

adf Region间传值

与上文中bounded Task Flow间传值类似,不同的是传递的值在定义region页面的定义文件中找到task flow。然后在修改,填入参数值。而不是通过task Flow的src文件.
wangqi101023 评论(0) 有826人浏览 2013-08-05 10:08

HBase minor & major compactions

HBase The Definitive Guide Book Says: Since flushing memstores to disk causes more and more HFile's to be created, HBase has a housekeeping mechanism that merges the files into larger ones using ...
greatwqs 评论(0) 有1148人浏览 2013-07-23 17:46

hbase 优化

文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,这里涉及的不多,这部分可以参考:淘宝Ken Wu同学的博客。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个regio ...
ganliang13 评论(0) 有1605人浏览 2013-06-07 20:01

[HBase]Region assignment

  接上文,我们创建表t1,列族c1,hbase.root目录为/new。当创建空表时,系统会自动生成一个空region,我们以这个region分配过程看下Region是如何在HMaster和Region server(以下简称rs)中创建的。大致过程如下: 1.HMaster指定分配计划,一个region只会分配给一个rs,多个rs均匀分配 2.多个rs并发执行assiagnment操作 ...
iwinit 评论(0) 有6636人浏览 2013-02-28 17:05

HBase中 Region类

一个Region在HBase中用一个HRegionInfo表示。该类定义在文件HRegionInfo.java中。一个Region包括如下几个重要属性: // 代表Region的开始Key byte [] startKey = HConstants.EMPTY_BYTE_ARRAY; // 代表Region的结束Key byte [] endKey = HConstants.EMPTY_BYTE ...
SSTICK 评论(0) 有1416人浏览 2012-08-15 11:09

Hbase region split源代码阅读笔记

客户端 1. HbaseAdmin.split(final byte [] tableNameOrRegionName,       final byte [] splitPoint) 这个方法首先判断参数是regionName还是tableName;如果是regionName则只分裂该region,如果是tableName则分裂该表下的所有region if (isRegionName(tab ...
uestzengting 评论(0) 有3210人浏览 2011-12-07 00:03

Hbase bulkload源代码阅读笔记

1.LoadIncrementalHFiles.doBulkLoad(Path hfofDir, HTable table) 首先用discoverLoadQueue方法扫描出hfofDir下有哪些fhile文件,再循环调用tryLoad方法把每个文件load进去,这是一个串行的过程。       Deque<LoadQueueItem> queue = null;       qu ...
uestzengting 评论(0) 有6045人浏览 2011-12-06 00:21

HBase HMerge源代码阅读和修改

随着Hbase里删除的进行,有些Region的数据会越来越少,而HBase不会主动去回收这些Region,因此会造成Region越来越多。HBase里提供了一个工具类HMerge,直接拿过来用却并不能运行,按照自已对HBase的理解对HMerge稍做修改,使其可以运行。运行时不需要Disable表,但需要注意的是在运行时如果同时往该表里put数据,可能会有问题,改后的代码如下: /** * Co ...
uestzengting 评论(0) 有2209人浏览 2011-11-14 19:50

Hbase region compact源代码阅读笔记

边缘代码略过,核心代码笔记 客户端 1.table_jsp._jspService(HttpServletRequest request, HttpServletResponse response) 调用客户端HBaseAdmin的compact方法来压缩region //调 ...
uestzengting 评论(0) 有2948人浏览 2011-10-08 19:49

android.graphics包中的一些类的使用

游戏编程相关参考 Matrix学习系列: http://www.moandroid.com/?p=1781 Android画图学习总结系列: http://www.moandroid.com/?p=764 游戏开发系列(opengl es基础知识): http: ...
yuanzhifei89 评论(1) 有10214人浏览 2011-07-31 14:30

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics