hbase 学习（十二）非mapreduce生成Hfile，然后导入hbase当中

最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile的方式，实现了之后，发现单线程入库速度才达到1w4左右，和之前的多线程的全速差不多了，百思不得其解之时，调整了一下代码把列的Byte.toBytes(cols)这个方法调整出来只做一次，速度立马就到3w了，提升非常明显，这是我的电脑上的速度，估计在它的集群上能更快一点吧，下面把代码和大家分享一下。

 　　　　　　　String tableName = "taglog"             [] family = Bytes.toBytes("logs"                          Configuration conf =             conf.set("hbase.master", "192.168.1.133:60000"             conf.set("hbase.zookeeper.quorum", "192.168.1.135"                          conf.set("hbase.metrics.showTableName", "false"                                       String outputdir = "hdfs://hadoop.Master:8020/user/SEA/hfiles/"             Path dir =              Path familydir =              FileSystem fs =             BloomType bloomType =              HFileDataBlockEncoder encoder =              blockSize = 64000             Configuration tempConf =              tempConf.set("hbase.metrics.showTableName", "false"             tempConf.setFloat(HConstants.HFILE_BLOCK_CACHE_SIZE_KEY, 1.0f                          StoreFile.Writer writer =  StoreFile.WriterBuilder(conf,                    start =                          DecimalFormat df =  DecimalFormat("0000000"                                                    KeyValue kv1 =              KeyValue kv2 =              KeyValue kv3 =              KeyValue kv4 =              KeyValue kv5 =              KeyValue kv6 =              KeyValue kv7 =              KeyValue kv8 =                                        [] cn = Bytes.toBytes("cn"             [] dt = Bytes.toBytes("dt"             [] ic = Bytes.toBytes("ic"             [] ifs = Bytes.toBytes("if"             [] ip = Bytes.toBytes("ip"             [] le = Bytes.toBytes("le"             [] mn = Bytes.toBytes("mn"             [] pi = Bytes.toBytes("pi"                           maxLength = 3000000             ( i=0;i<maxLength;i++                 String currentTime = ""+System.currentTimeMillis() +                  current =                                    kv1 =                           family, cn,current,KeyValue.Type.Put,Bytes.toBytes("3"                                   kv2 =                           family, dt,current,KeyValue.Type.Put,Bytes.toBytes("6"                                   kv3 =                           family, ic,current,KeyValue.Type.Put,Bytes.toBytes("8"                                   kv4 =                           family, ifs,current,KeyValue.Type.Put,Bytes.toBytes("7"                                   kv5 =                           family, ip,current,KeyValue.Type.Put,Bytes.toBytes("4"                                   kv6 =                           family, le,current,KeyValue.Type.Put,Bytes.toBytes("2"                                   kv7 =                           family, mn,current,KeyValue.Type.Put,Bytes.toBytes("5"                                   kv8 =                           family,pi,current,KeyValue.Type.Put,Bytes.toBytes("1"                                                                                            HTable table =              LoadIncrementalHFiles loader =              loader.doBulkLoad(dir, table);

　　

　　最后再附上查看hfile的方式，查询正确的hfile和自己生成的hfile，方便查找问题。
　

转载于:https://my.oschina.net/u/923508/blog/413939