年度博客排行
-
第1名
龙儿筝 -
第2名
宏天软件 -
第3名
benladeng5225 - wy_19921005
- vipbooks
- 青否云后端云
- kaizi1992
- e_e
- arpenker
- tanling8334
- sam123456gz
- zysnba
- fantaxy025025
- xiangjie88
- lemonhandsome
- wallimn
- jh108020
- ganxueyun
- Xeden
- zhanjia
- wangchen.ily
- xyuma
- johnsmith9th
- zxq_2017
- forestqqqq
- jbosscn
- daizj
- ajinn
- xpenxpen
- silverend
- 喧嚣求静
- kingwell.leng
- lchb139128
- kristy_yy
- jveqi
- lzyfn123
- java-007
- javashop
- sunj
- yeluowuhen
- lerf
- xiaoxinye
- chenqisdfx
- flashsing123
- bosschen
- zhangjijun
- sunnylocus
- lyndon.lin
- lyj86
- paulwong
最新文章列表
hbase bulkloader实例入门
一、使用mr生成对应hbase table的hfile
maper中写入库逻辑,reduce是用hbase自带的,outputformat用的是hfileoutputformat
Configuration conf = new Configuration();
Job jobAft ...
HBase bulkload的一个bug定位
在HBase bulkload过程中,如果rowkey和version都一致,无法取得最新导入的数据。
问题定位:
在HBase里,如果两个HFile中都有相同rowkey和version的数据,是靠HFile的fileinfo里的MAX_SEQ_ID_KEY来判断哪个文件是最新,MAX_SEQ_ID_KEY
越大的文件越新。
1.通过flush写的HFile文件有往fileinfo里面加MAX ...
Hbase bulkload源代码阅读笔记
1.LoadIncrementalHFiles.doBulkLoad(Path hfofDir, HTable table)
首先用discoverLoadQueue方法扫描出hfofDir下有哪些fhile文件,再循环调用tryLoad方法把每个文件load进去,这是一个串行的过程。
Deque<LoadQueueItem> queue = null;
qu ...