最新文章列表

HBase RegionServer功能职责

RegionServer功能职责 租约管理 HBase的租约管理功能主要应用在scan查询上,如果客户端执行scan操作以后,在60秒内没有将Scanner进行关闭,也没有 ...
aoyouzi 评论(0) 有1890人浏览 2016-05-08 11:11

HBase rpc调用

HBase rpc 0.94中 例如在client put数据时,会调用htable的flushCommits,再调HConnectionImplementationr的processBatch,再调processBatchCallback 中,在这里异步调用线程,并使用future取得结果,最终执行的是call方法。 // step 2: make the requests ...
brianf 评论(0) 有2544人浏览 2012-10-10 18:47

HBase RegionServer挂掉后的源码分析

首先肯定是HMaster通过ZK发现某RS挂掉了,HMaster使用private ServerManager serverManager来处理rs的信息: public synchronized void expireServer(final HServerInfo hsi) { // 首先从onlineServers中获取HServerInfo // <host ...
chenchao051 评论(0) 有4115人浏览 2012-08-13 11:20

hbase 使用经验

hbase  使用经验。 1、单条rowkey下虽然能支持百万列,但是建议不要这么做,因为真正一个rowkey下挂了这么多数据时会在两个地方出现问题,一是查询时单行记录数据量过大,client超时;第二个问题是regionserver做compact的过程有可能被单条rowkey的数据塞满内存造成OOM 2、datanode的handler的数量不要默认值,太少,要在100左右,另外region ...
黎明lm 评论(0) 有1350人浏览 2012-06-20 19:09

HBase运维-节点故障Server REPORT rejected;

hbase性能测试,加载了一个晚上的数据,早上来时发现一个节点挂掉了,其他一切正常。 查看日志,发下如下问题 12/01/04 09:45:39 FATAL regionserver.HRegionServer: ABORTING region server serverName=hadoop5.site,60020,1325663355680, load=(requests=983, regi ...
leongfans 评论(0) 有7371人浏览 2012-01-05 10:09

Hbase put过程源代码阅读笔记

客户端 1.HTable.put     for (Put put : puts) {       validatePut(put);//验证Put有效,主要是判断kv的长度       writeBuffer.add(put);//写入缓存       currentWriteBufferSize += put.heapSize();//计算缓存容量     }     if (autoFlush ...
uestzengting 评论(0) 有3449人浏览 2011-10-27 10:22

Hbase 源码分析之 Regionserver上的 Get 全流程

当regionserver收到来自客户端的Get请求时,调用接口 public Result get(byte[] regionName, Get get) { ... HRegion region = getRegion(regionName); return region.get(get, getLockFromId(get.getLockId())); ... } 我们看HRegion.ge ...
shenchunhui 评论(2) 有7166人浏览 2011-09-16 11:20

多region下的hbase写入问题

    最近在集群上发现hbase写入性能受到较大下降,测试环境下没有该问题产生。而生产环境和测试环境的区别之一是生产环境的region数量远远多于测试环境,单台regionserver服务了约3500个region。     通过jstack工具检查到大半写入线程BLOCKED状态在"public synchronized void reclaimMemStoreMemory() {&q ...
lc_koven 评论(11) 有9250人浏览 2011-08-10 13:13

HBase bug:重启机群后不能正常工作

现象: hbase机群重启后不能正常工作,通过web接口访问时,500 Exception的样子。hbase hbck显示很多region没有被服务。 重现过程: 某些情况下下,比如系统压力比较大,或者master意外kill掉了,master会被快速重启。 这个时候region server是正常的,region server会通过zookeeper感知这个事件,并将master切换到新的服务进 ...
redisliu 评论(0) 有1568人浏览 2011-08-04 11:44

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics