Hive如何加载和导入HBase的数据

• 当我们用HBase 存储实时数据的时候， 如果要做一些数据分析方面的操作， 就比较困难了， 要写MapReduce Job。 Hive 主要是用来做数据分析的数据仓库，支持标准SQL 查询， 做数据分析很是方便，于是便很自然地想到用Hive来载入HBase的数据做分析， 但是很奇怪地是， 上网查了一下， 只看到以下两种情况：

  1. 如何用Hive 往HBase里面插入大量的数据。

  2. Hive 与HBase集成， 直接从Hive里面连HBase的数据库进行查询。参考链接： https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

  选项1是我们需求的逆操作， 直接忽略， 选项2,  虽然没有做专门的Benchmark, 但总感觉直接对HBase进行查询操作不怎么靠谱， 如果我们要频繁做很多类型的数据分析， 那HBase的压力一定会倍增。

  难道没有把HBase里面的数据直接导入到Hive当中的工具或者方法吗？

  找了一会， 似乎没找到， 那么只好自己想一个解决方案了。

  思路：

  利用选项2,  先打通Hive对HBase指定表的全表访问， 再建立一个新的空表， 把查询出来的数据全部导入到新表当中， 以后的所有数据分析操作在新表中完成。

  说干就干， 让我们试一个简单的例子。

  首先在HBase里面建一个表， 名为 student， 包含 id 和 name 两个column.

  view sourceprint?

  1.hbase shell

  2. 

  3.create 'student', 'id', 'name'
   

  向表中插入两行数据

  view sourceprint?

  1.put 'student', 'row1', 'id:val', '1'

  2.put 'student', 'row1', 'name:val', 'Tony'

  3.put 'student', 'row2', 'id:val', '2'

  4.put 'student', 'row2', 'name:val', 'Mike'
   

  注意：在插入数据的时候一定要指定column (如id:val, name:val) 直接使用column family (如 id, name) 去存数据会导致后面Hive 建表的时候有问题。

  扫描此表， 确定数据已经插入

  view sourceprint?

  1.scan 'student'

  2.ROW                               COLUMN+CELL                                                                                    

  3.row1                             column=id:val, timestamp=1384939342989, value=1                                                

  4.row1                             column=name:val, timestamp=1384939365511, value=Tony                                           

  5.row2                             column=id:val, timestamp=1384939351444, value=2                                                

  6.row2                             column=name:val, timestamp=1384939379245, value=Mike
   

   

  建立Hive 对HBase的访问

  参考： https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

  这里我们使用的是Pivotal 公司的Pivotal Hadoop, 

  view sourceprint?

  1.hive --auxpath /usr/lib/gphd/hive/lib/hive-hbase-handler-0.11.0-gphd-2.1.1.0.jar,/usr/lib/gphd/hbase/hbase.jar,/usr/lib/gphd/zookeeper/zookeeper.jar,/usr/lib/gphd/hbase/lib/guava-11.0.2.jar -hiveconf hbase.zookeeper.quorum=centos62-3,centos62-4,centos62-5
   

  解释一下参数：

  后面三个jar 包主要是Hive 访问时需要用到的， hhbase.zookeeper.quorum=centos62-3,centos62-4,centos62-5 是指hbase使用的是这三个zookeeper, 这样就不用指定hbase master了。

  这个命令运行完以后会打开Hive 的输入终端。

  从Hive建立可以访问HBase的外部表

  view sourceprint?

  1.CREATE EXTERNAL TABLE student(key string, id int, name string)

  2.STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

  3.WITH SERDEPROPERTIES ("hbase.columns.mapping" = "id:val,name:val")

  4.TBLPROPERTIES("hbase.table.name" = "student");
   

  扫描student表， 确认访问成功：

  view sourceprint?

  1.hive> select * from student;

  2.OK

  3.row1    1    Tony

  4.row2    2    Mike
   

  但是此时这个表实际上是一个虚拟表， 实际的数据还在HBase中。 下面需要在Hive中另建一个结构一样的空表， 再把数据导出来。

  Hive中建立一个新的空表

  view sourceprint?

  1.CREATE TABLE new_student (

  2.key string,

  3.id INT,

  4.name STRING)

  5.ROW FORMAT DELIMITED

  6.FIELDS TERMINATED BY '\t'

  7.STORED AS TEXTFILE;
   

  将数据从HBase中导入到新的Hive表中

  view sourceprint?

  1.hive> INSERT OVERWRITE TABLE new_student SELECT * FROM student;
   

  确认新表中数据正确：

  view sourceprint?

  1.hive> select * from new_student;

  2.OK

  3.row1    1    Tony

  4.row2    2    Mike
   

  至此大功告成！

  以后所有复杂的数据查询和数据分析都可以在new_student表中完成。

   

延伸阅读：

• 1、phpHiveAdmin软件开发和知识整理
• 2、Hbase shell 常用命令（1）
• 3、HBase 系统架构
• 4、HBase利用bulk load批量导入数据
• 5、HBase如何合理设置客户端Write Buffer
• 6、HBase解决Region Server Compact过程占用大量网络出口带宽的问题
• 7、HBase Thrift接口使用注意问题
• 8、HBase Block Cache实现机制分析

http://www.cnblogs.com/npumenglei/

 

微信公众号：