`
skambc
  • 浏览: 45973 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hive、Hbase配合使用

 
阅读更多
1 、先在hive上创建hbase能识别的表
CREATE TABLE hbase_scores(key string, grade string,math string,art string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,grade:grade,course:math,course:art") 
TBLPROPERTIES ("hbase.table.name" = "hbase_scores");

2、创建hive表,并导入数据
CREATE TABLE scores(key string, grade string,math string,art string) 
row format delimited fields terminated by '\t';

3、把hive表导入hbase能识别的表,就可以在hive和hbase中查询了和使用了。
INSERT OVERWRITE TABLE hbase_scores SELECT * FROM scores;


------------
hbase表只有列族,没有列的,对应关系应该怎么写?
CREATE TABLE hbase_scores1(key string, grade string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,grade:,course:math,course:art") 
TBLPROPERTIES ("hbase.table.name" = "hbase_scoresjin");


-----
hbase上已经存在表,在hive上创建外部表
CREATE EXTERNAL  TABLE scores_h(key string,math string,art string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,course:math,course:art") 
TBLPROPERTIES ("hbase.table.name" = "scores");
hive关联hbase的外部表无法用load导入数据。
分享到:
评论

相关推荐

    Hadoop Hive HBase Spark Storm概念解释

    ### Hadoop Hive HBase Spark Storm概念详解 #### Hadoop **Hadoop** 是一个由Apache基金会开发的开源分布式系统基础架构。它通过提供一个高效、可靠且可扩展的平台来解决大数据存储与处理的需求。Hadoop的核心组件...

    Sqoop数据采集工具简介、安装、使用学习笔记(配合Hive和Hbase)

    本篇笔记主要围绕 Sqoop 的使用场景、安装步骤以及如何配合 Hive 和 Hbase 使用进行展开。 #### 二、数据传输流程设计 最初的设计方案是通过 Sqoop 将数据从 PostgreSQL 导入到 Kafka,再通过存储程序将 Kafka 的...

    hive和HBASE.zip

    - 使用HBase的二级索引和Filter,配合Hive的JOIN和GROUP BY等操作,实现复杂查询。 - 注意Hive的倾斜表问题,避免数据不均衡导致的性能瓶颈。 6. **应用场景** - Hive用于离线数据分析,例如日志分析、用户行为...

    hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】 -

    Hive与Hadoop的关系主要体现在数据存储和MapReduce/Spark的使用上。Hive的Metastore服务存储元数据信息,这些信息依赖于Hadoop的HDFS。Hive的每个版本都会声明其对Hadoop的最低和最高版本支持。例如,Hive 2.x可能...

    hadoop安装文件.rar,内涵hadoop安装的步骤word,hadoop、hive、hbase、sqoop、mysql等

    在大数据环境中,MySQL可能作为数据源,与Hadoop生态系统中的其他组件配合使用。安装MySQL包括下载安装包,配置数据库服务器,创建用户和数据库,以及设置相应的访问权限。 总的来说,这个压缩包提供的资料涵盖了...

    hadoop、hbase、hive、zookeeper版本对应关系续(最新版)(2015)

    例如,Hadoop 1.2配合HBase 0.95.0和Hive 0.11.0可能会导致不兼容,表现为创建Hive和HBase关联表时出现pair对异常。但Hadoop 1.2搭配HBase 0.94.9和Hive 0.10.0则可以正常工作。兼容性方面,文章提到hadoop-1.0.3、...

    大数据技术 Hadoop开发者第二期 Nutch MapReduce HDFS Hive Mahout HBase 共64页.r

    这六个组件共同构成了一个完整的Hadoop生态系统,它们相互配合,从数据采集(Nutch)、存储(HDFS)、计算(MapReduce)、分析(Hive)、智能处理(Mahout)到实时访问(HBase),覆盖了大数据处理的全生命周期。...

    大数据HBase的使用场景

    作为数据湖和数据仓库的底层存储,HBase可以与Hadoop、Hive和Spark等工具无缝配合。它提供了一个高性能的存储层,支持大规模的数据摄取和分析。在金融领域,通过与这些工具集成,HBase可以帮助构建风险管理数据湖,...

    hive-part1-基础知识.pdf

    HiveServer2配合beeline可以远程访问Hive;WebUI则提供了一个可视化界面来操作Hive。 以上就是关于Hive基础知识部分的详细知识点。Hive作为大数据领域的重要工具,它的设计和使用在数据仓库、大数据分析和处理方面...

    分布式数据库课程设计+基于Hbase的滴滴出行数据分析+Hive+Hadoop+Mysql+Sqoop+可视化

    项目中使用 Python(可能配合如 Matplotlib 或 Seaborn 等库)对 MySQL 中的数据进行可视化,创建柱状图、饼图等图表,以便于分析滴滴出行数据的模式和趋势。 3. 数据处理流程 3.1 数据获取与存储 首先,爬取滴滴...

    HBase官方文档中文版-HBase手册中文版

    3. Hive集成:通过Hive的HBase存储过程进行数据查询。 4. Flume、Kafka集成:用于日志收集和实时流处理。 这份“HBase官方文档中文版”详细阐述了HBase的核心概念、架构、操作以及最佳实践,对于HBase的学习者和...

    HBase入门与使用

    同时,HBase与Hadoop YARN配合,实现资源管理和调度。 **7. HBase的优化** - 表设计:合理的表结构设计(如行键设计、预分区等)对性能有很大影响。 - 调整Region大小:根据数据分布和访问模式调整Region的大小和...

    04-Hive安装部署及运维使用.pdf

    HBase、Zookeeper、Impala等组件则提供了Hive以外的其他服务和功能。 最后,Hive的安装、部署和运维使用是一个复杂的过程,涉及到对Hadoop生态系统中各种组件的深入理解和精细配置。要确保Hive正常运行并发挥其数据...

    hbase-1.2.0-cdh5.12.0.tar.gz

    总结,HBase 1.2.0在CDH 5.12.0中的应用,不仅提供了高效的数据存储和查询能力,还通过与Hadoop、Hive、Kafka等组件的紧密配合,构建了一套完整的实时大数据处理架构。理解并熟练掌握这些知识点,对于大数据开发者和...

    hbase-1.0.1.1-bin.tar.gz.zip

    - Hive:通过Hive-HBase连接器,可以在Hive查询中直接访问HBase数据。 - Spark:Spark可以与HBase进行交互,支持实时数据处理和分析。 6. **最佳实践** - 行键设计:优化行键设计,避免热点问题,提高查询效率。...

    如何在python中写hive脚本

    hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"' os.system(hive_cmd) ``` 或者,将结果保存到DataFrame: ```python hive_cmd = 'hive -f ./user.sql' output1 = os.popen(hive_...

    hbase-0.94.27.tar.gz

    10. **与其他Hadoop组件的集成**:HBase可以与Hadoop的MapReduce框架配合,进行批量数据处理;也可以与Pig、Hive等工具集成,提供更高级的分析功能。 11. **容错性**:HBase具有良好的容错机制,如RegionServer故障...

    hbase-1.1.5

    在Hadoop生态系统中,HBase通常与HDFS、MapReduce、Hive、Pig等组件配合使用。HDFS提供底层的存储,MapReduce用于批量处理HBase中的数据,而Hive和Pig则提供了SQL-like的查询接口,使得非程序员也能便捷地操作HBase...

    hive官方文档整理

    8. **Hive与其它大数据组件的协同**:Hive可以与HBase、Impala、Pig等工具配合使用,实现更复杂的数据处理和分析场景。 通过阅读和理解这份官方文档,你将能够掌握Hive的基本操作,理解其工作原理,并学会如何在...

Global site tag (gtag.js) - Google Analytics