博客首页 → bulkload

最新文章列表

hbase bulkloader实例入门

一、使用mr生成对应hbase table的hfile maper中写入库逻辑，reduce是用hbase自带的，outputformat用的是hfileoutputformat     Configuration conf = new Configuration(); Job jobAft ...
hbasebulkload入门 
blackproof 评论(0) 有3139人浏览 2014-06-03 23:15

HBase bulkload的一个bug定位

在HBase bulkload过程中，如果rowkey和version都一致，无法取得最新导入的数据。 问题定位： 在HBase里，如果两个HFile中都有相同rowkey和version的数据，是靠HFile的fileinfo里的MAX_SEQ_ID_KEY来判断哪个文件是最新，MAX_SEQ_ID_KEY 越大的文件越新。 1.通过flush写的HFile文件有往fileinfo里面加MAX ...
hfileversionrowkeybulkloadfileinfo 
uestzengting 评论(8) 有2306人浏览 2011-12-30 11:13

Hbase bulkload源代码阅读笔记

1.LoadIncrementalHFiles.doBulkLoad(Path hfofDir, HTable table) 首先用discoverLoadQueue方法扫描出hfofDir下有哪些fhile文件，再循环调用tryLoad方法把每个文件load进去，这是一个串行的过程。       Deque<LoadQueueItem> queue = null;       qu ...
bulkloadhbasestoreLoadIncrementalHFilesregion 
uestzengting 评论(0) 有6053人浏览 2011-12-06 00:21

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64570) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54784) Web(54511) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40811) 编程(39454) Windows(39381) JSP(37540) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics