博客首页 → bulkload

最新文章列表

hbase bulkloader实例入门

一、使用mr生成对应hbase table的hfile maper中写入库逻辑，reduce是用hbase自带的，outputformat用的是hfileoutputformat     Configuration conf = new Configuration(); Job jobAft ...
hbasebulkload入门 
blackproof 评论(0) 有3141人浏览 2014-06-03 23:15

HBase bulkload的一个bug定位

在HBase bulkload过程中，如果rowkey和version都一致，无法取得最新导入的数据。 问题定位： 在HBase里，如果两个HFile中都有相同rowkey和version的数据，是靠HFile的fileinfo里的MAX_SEQ_ID_KEY来判断哪个文件是最新，MAX_SEQ_ID_KEY 越大的文件越新。 1.通过flush写的HFile文件有往fileinfo里面加MAX ...
hfileversionrowkeybulkloadfileinfo 
uestzengting 评论(8) 有2312人浏览 2011-12-30 11:13

Hbase bulkload源代码阅读笔记

1.LoadIncrementalHFiles.doBulkLoad(Path hfofDir, HTable table) 首先用discoverLoadQueue方法扫描出hfofDir下有哪些fhile文件，再循环调用tryLoad方法把每个文件load进去，这是一个串行的过程。       Deque<LoadQueueItem> queue = null;       qu ...
bulkloadhbasestoreLoadIncrementalHFilesregion 
uestzengting 评论(0) 有6058人浏览 2011-12-06 00:21

最近博客热门TAG

Java(141741) C(73643) C++(68602) SQL(64557) C#(59604) XML(59131) HTML(59042) JavaScript(54917) .net(54782) Web(54511) 工作(54116) Linux(50906) Oracle(49861) 应用服务器(43285) Spring(40811) 编程(39452) Windows(39380) JSP(37540) MySQL(37267) 数据结构(36420)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics