本月博客排行
-
第1名
龙儿筝 -
第2名
lerf -
第3名
paulwong - fantaxy025025
- johnsmith9th
- xiangjie88
- zysnba
年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
gashero - wy_19921005
- vipbooks
- benladeng5225
- e_e
- wallimn
- javashop
- ranbuijj
- fantaxy025025
- gengyun12
- jickcai
- zw7534313
- qepwqnp
- 解宜然
- ssydxa219
- zysnba
- sam123456gz
- sichunli_030
- tanling8334
- arpenker
- gaojingsong
- xpenxpen
- kaizi1992
- jh108020
- wiseboyloves
- ganxueyun
- xyuma
- xiangjie88
- wangchen.ily
- Jameslyy
- 龙儿筝
- luxurioust
- mengjichen
- lemonhandsome
- jbosscn
- zxq_2017
- nychen2000
- lzyfn123
- forestqqqq
- wjianwei666
- ajinn
- siemens800
- zhanjia
- Xeden
- hanbaohong
- java-007
- 喧嚣求静
- kingwell.leng
最新文章列表
HBase rpc调用
HBase rpc 0.94中
例如在client put数据时,会调用htable的flushCommits,再调HConnectionImplementationr的processBatch,再调processBatchCallback
中,在这里异步调用线程,并使用future取得结果,最终执行的是call方法。
// step 2: make the requests
...
HBase RegionServer挂掉后的源码分析
首先肯定是HMaster通过ZK发现某RS挂掉了,HMaster使用private ServerManager serverManager来处理rs的信息:
public synchronized void expireServer(final HServerInfo hsi) {
// 首先从onlineServers中获取HServerInfo
// <host ...
hbase 使用经验
hbase 使用经验。
1、单条rowkey下虽然能支持百万列,但是建议不要这么做,因为真正一个rowkey下挂了这么多数据时会在两个地方出现问题,一是查询时单行记录数据量过大,client超时;第二个问题是regionserver做compact的过程有可能被单条rowkey的数据塞满内存造成OOM
2、datanode的handler的数量不要默认值,太少,要在100左右,另外region ...
HBase运维-节点故障Server REPORT rejected;
hbase性能测试,加载了一个晚上的数据,早上来时发现一个节点挂掉了,其他一切正常。
查看日志,发下如下问题
12/01/04 09:45:39 FATAL regionserver.HRegionServer: ABORTING region server serverName=hadoop5.site,60020,1325663355680, load=(requests=983, regi ...
Hbase put过程源代码阅读笔记
客户端
1.HTable.put
for (Put put : puts) {
validatePut(put);//验证Put有效,主要是判断kv的长度
writeBuffer.add(put);//写入缓存
currentWriteBufferSize += put.heapSize();//计算缓存容量
}
if (autoFlush ...
Hbase 源码分析之 Regionserver上的 Get 全流程
当regionserver收到来自客户端的Get请求时,调用接口
public Result get(byte[] regionName, Get get)
{
...
HRegion region = getRegion(regionName);
return region.get(get, getLockFromId(get.getLockId()));
...
}
我们看HRegion.ge ...
多region下的hbase写入问题
最近在集群上发现hbase写入性能受到较大下降,测试环境下没有该问题产生。而生产环境和测试环境的区别之一是生产环境的region数量远远多于测试环境,单台regionserver服务了约3500个region。
通过jstack工具检查到大半写入线程BLOCKED状态在"public synchronized void reclaimMemStoreMemory() {&q ...
HBase bug:重启机群后不能正常工作
现象:
hbase机群重启后不能正常工作,通过web接口访问时,500 Exception的样子。hbase hbck显示很多region没有被服务。
重现过程:
某些情况下下,比如系统压力比较大,或者master意外kill掉了,master会被快速重启。
这个时候region server是正常的,region server会通过zookeeper感知这个事件,并将master切换到新的服务进 ...