`
lookqlp
  • 浏览: 346735 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

sqoop hbase导入并与hive结合

阅读更多
sqoop语句
以tid为主键,info为列族
sqoop import --connect jdbc:mysql://ip/taobao_db --username hive --password 123456 --table mysql_table_name --hbase-table hbase_table_name --column-family info --split-by tid


hbae创建表语句
create 'trade','info'


hive创建表语句
CREATE EXTERNAL TABLE hbase_trade(
tid string,
dp_id string,
created string,
modified string,
buyer_cod_fee double,) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "info:dp_id,info:created,info:modified,info:buyer_cod_fee") TBLPROPERTIES("hbase.table.name" = "hbase_table_name");

遗留问题
sqoop导入数据至hbase时,split-by字段只能是一个,处理不了多字段联合主键的情况。
分享到:
评论

相关推荐

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...

    Sqoop通过Phoenix导hbase数据到hive

    出现此问题时使用:java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.... at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

    mapreduce方式入库hbase hive hdfs

    mapreduce方式入库hbase hive hdfs,速度很快,里面详细讲述了代码的编写过程,值得下载

    sqoop把mysql数据导入hbase2.1.6

    首先,Sqoop不仅支持将数据从关系型数据库如MySQL导入到HDFS或Hive,还能直接导入到HBase。关键在于正确使用参数: 1. `--hbase-table`:此参数用于指定导入的数据应存储在哪个HBase表中。不指定的话,数据将被导入...

    23-Sqoop数据导入导出1

    本篇将详细介绍Sqoop的导入和导出过程,以及在MySQL、HDFS、Hive和HBase之间的具体操作。 ### Sqoop导入原理 1. **JDBC检查**:在开始导入前,Sqoop通过JDBC连接数据库,获取表结构和列信息,如数据类型,将其映射...

    Sqoop数据采集工具简介、安装、使用学习笔记(配合Hive和Hbase)

    基于这些考量,最终选择了 Sqoop1 版本,并直接将数据导入到 Hive 或 HBase 中。 ### Sqoop1 与 Sqoop2 区别 - **RDBMS -> Hive/HBase**:Sqoop1 支持此功能,而 Sqoop2 不支持。对于 Sqoop2,可以通过先将数据...

    zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程(超详细).docx

    jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...

    sqoop 操作 hbase.txt

    sqoop 操作 hbase

    Sqoop安装与使用

    Sqoop 工具是 Hadoop 下连接关系型数据库和 Hadoop 的桥梁,支持关系型数据库和 hive、hdfs、hbase 之间数据的相互导入。 Sqoop 的安装与使用可以分为以下几个步骤: 首先,需要安装 Sqoop 工具,Sqoop 工具的...

    Hadoop2.2.0+Hbase0.98.4+sqoop-1.4.4+hive-0.98.1安装手册(All)_ZCX

    叶梓老师整理的Hadoop2.2.0+Hbase0.98.4+sqoop-1.4.4+hive-0.98.1安装手册,非常实用

    hbase与hive数据同步共4页.pdf.zip

    Sqoop可以将HBase表导入到Hive,通过定义HBase表的扫描范围和列族,将其转换为Hive表。 - Hive到HBase:当Hive完成了计算和分析,可能需要将结果回写到HBase以供实时查询。这通常通过自定义MapReduce任务实现,将...

    Hive、MySQL、HBase数据互导

    在整个过程中,确保所有组件的版本兼容,例如HBase与Hadoop、Sqoop与Hadoop之间的版本匹配。同时,监控数据导入导出的性能和可能遇到的问题,如网络延迟、数据一致性等。理解这些操作背后的原理和优化技巧,对于高效...

    hadoop安装文件.rar,内涵hadoop安装的步骤word,hadoop、hive、hbase、sqoop、mysql等

    本压缩包"hadop安装文件.rar"提供了关于Hadoop及其相关组件(如Hive、HBase、Sqoop和MySQL)的安装步骤,这对于初学者和系统管理员来说是一份宝贵的资源。 首先,我们来详细了解一下Hadoop。Hadoop由Apache软件基金...

    大数据实践-sqoop数据导入导出.doc

    5. 创建并编辑`sqoop-env.sh`文件,设置Hadoop、HBase、Hive等相关路径,确保Sqoop能够找到这些组件。 6. 注释掉`configure-sqoop`文件中与Accumulo和Zookeeper相关的检查,如果这些组件未安装或不需要使用。 7. ...

    Hadoop、HBase、Hive、Pig、Zookeeper资料整理

    - **一个hivehbasehdoop+eclipse的实例.doc**:这个文档可能提供了一个综合实例,演示了如何结合使用Hadoop、HBase和Hive,以及如何在Eclipse中进行开发。 - **Hadoop-0.20.0-HDFS+MapReduce+Hive+HBase十分钟快速...

    分布式数据库课程设计+基于Hbase的滴滴出行数据分析+Hive+Hadoop+Mysql+Sqoop+可视化

    使用 Sqoop 将 Hive 中处理后的数据导出到 MySQL 数据库,这样可以将大数据分析的结果与传统的业务系统结合,方便进行报表展示和业务决策。 4. 数据可视化展示 最后,通过 Python 编程实现对 MySQL 中数据的可视化...

    HADOOP+HBASE+HIVE整合工程和文档

    2. **HBase配置与数据加载**:设置HBase的集群环境,包括Master、RegionServer等节点,然后根据业务需求创建表结构,将预处理后的数据导入HBase。 3. **Hive元数据管理**:Hive需要知道HBase中的表结构,所以要在...

    hbase导出csv,文本,html文件

    2. **数据导入Hive**:创建一个Hive外部表,该表与HBase表结构对应,然后使用`LOAD DATA`命令将HBase查询结果导入Hive。这一步需要配置HBase与Hive之间的连接,例如通过设置`hbase-site.xml`和`core-site.xml`的属性...

Global site tag (gtag.js) - Google Analytics