`
zhangxiong0301
  • 浏览: 359548 次
社区版块
存档分类
最新评论

HBASE批量数据导入

阅读更多
把MYSQL中的数据导入到hbase中,采用HBASE自带的BULK加载工具完成。过程分三步:
1.从mysql中导出数据为CSV或TSV格式的文本文件
2.利用importtsv工具转换Tsv文件为hbase的数据文件格式HFILE
3.利用completeulkload加载上一步生成的hbase数据文件


具体步骤:
1.导数据:
select concat(model,'_',pkg_name,'_',meid),meid,model,pkg_name,label,install_type,genera_type,specific_type into outfile '/home/zx/d02.txt' fields terminated by '\t' lines terminated by '\n' from tb_yl_device_app_info_5230                       ;

2.文件转换
hbase org.apache.hadoop.hbase.mapreduce.Driver importtsv -Dimporttsv.columns=HBASE_ROW_KEY,cf:meid,cf:model,cf:pkg_name,cf:label,cf:install_type,cf:genera_type,cf:specific_type -Dimporttsv.bulk.output=/user/hadoop/mysqldata/ tb_yl_device_app_info1 /home/hadoop/device_app/zx/

3.加载hbase
hbase org.apache.hadoop.hbase.mapreduce.Driver completebulkload /user/hadoop/mysqldata/ tb_yl_device_app_info1


注意:
在执行第二步的时候可能会报错java.lang.NoClassDefFoundError: com/google/common/collect/Multimap,
只需要将guava-11.0.2.jar考到hadoop的lib目录下就OK,附件是这个jar
分享到:
评论

相关推荐

    Hbase调用JavaAPI实现批量导入操作

    通过理解和掌握这些知识点,开发者能够有效地使用Java API实现HBase的大规模数据导入,从而充分利用HBase的强大功能处理大数据场景。博客中的具体实现细节和示例代码可以提供更深入的理解,建议进一步阅读原文以获取...

    hbase各种例子新增修改删除批量导入

    hbase各种例子新增修改删除批量导入: public static void main(String[] args) throws IOException { Configuration conf = HBaseConfiguration.create(); HBaseHelper helper = HBaseHelper.getHelper(conf); ...

    Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库(往hbase的表中批量插入数据).pdf

    在本文档中,我们将深入探讨如何使用Java API与HBase数据库进行交互,特别是关于如何创建表、修改表结构以及批量插入数据。HBase是Apache的一个分布式、可扩展的大数据存储系统,它基于谷歌的Bigtable设计,适用于...

    基于Apache HBase的CSV数据批量导入与操作工具.zip

    基于Apache HBase的CSV数据批量导入与操作工具 项目简介 本项目是一个基于Apache HBase的工具,旨在从CSV文件中批量导入数据到HBase数据库,并提供基本的数据操作示例。HBase是一个分布式、可扩展的大数据存储...

    Hbase调用JavaAPI实现批量导入操作.docx

    Hbase 调用 JavaAPI 实现批量导入操作 在大数据时代,Hbase 作为一个分布式、面向列的 NoSQL 数据库,...使用 JavaAPI 调用 Hbase 实现批量导入操作可以提高数据处理效率和存储能力,满足大规模数据存储和处理的需求。

    HBase实现批量存取

    例如,当需要将大量历史数据导入HBase时,可以使用批量写入的方式来提高效率。同样,对于数据分析或报表生成,可以通过批量读取来快速获取多行或多列的数据。 此外,HBase还提供了批量操作的工具,如HBase的`Bulk...

    java解决hive快速导数据到Hbase代码

    本文将详细讨论如何使用Java编程语言实现从Hive到HBase的快速数据导入方案。 首先,Hive是一个基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,适合大规模数据的离线...

    关系型数据库的数据导入Hbase

    本篇文章将详细介绍如何将关系型数据库的数据导入到Hbase中,包括离线和实时两种方式。 1. 离线数据导入: 离线数据导入通常在系统低峰期进行,适用于大量数据迁移。常见的工具包括Apache Nifi、Sqoop和Hadoop ...

    hbase+批量上传jar包

    在实际操作中,我们经常需要对HBase进行批量数据导入,这时就会用到批量上传jar包的方法。本文将详细讲解如何利用HBase提供的工具进行批量数据导入,并围绕这个主题展开相关知识点。 首先,`hbase-tools-1.0`是...

    将hdfs上的文件导入hbase的源代码

    通过阅读和理解这段代码,可以深入学习如何在实际项目中将HDFS数据导入HBase,这对于大数据平台的开发和运维人员来说是非常有价值的实践。 总的来说,将HDFS上的文件导入HBase是一个涉及数据处理、数据库设计和编程...

    hbase导入测试数据集

    总之,HBase的数据导入涉及到数据预处理、表创建、数据加载以及验证等多个环节,理解这些步骤对于有效地管理和利用HBase至关重要。在实际操作中,还需要根据具体需求和数据特性来调整导入策略,以实现最佳性能和可...

    nosql实验五-HBase数据迁移与数据备份&恢复.docx

    本实验主要介绍了 HBase 数据迁移与数据备份和恢复的方法,包括使用 Sqoop 将 MySQL 数据导入到 HBase、将文本文件批量导入 HBase、使用 Hadoop DistCp 实现 HBase 的冷备份和热备份。 一、使用 Sqoop 将 MySQL ...

    hbase存储csv数据的代码实现

    在将CSV数据导入HBase之前,我们通常需要进行预处理,这包括数据清洗、转换以及将其格式化为适合HBase的键值对。以下是一个简单的Python示例,展示如何使用HappyBase库(一个Python HBase客户端)来实现这个过程: ...

    MR程序Bulkload数据到hbase

    在大数据领域,当需要将大量数据导入到HBase时,直接通过客户端API逐条插入可能效率低下。因此,我们通常采用Bulkload机制,它允许将数据预先处理成HBase友好的格式,然后一次性加载到表中,极大地提高了导入效率。 ...

    How-to: Use HBase Bulk Loading, and Why

    本篇文章将深入讲解如何使用HBase的批量加载功能以及其背后的原因,以提高数据导入效率。 首先,我们需要理解为什么需要使用HBase的批量加载。在HBase中,数据通常是通过Java API或者HBase Shell进行插入的。然而,...

    HBaseBulkImportXML:如何将 XML 文件中的数据批量导入 HBase 表的示例

    HBaseBulkImportXML 如何将数据从 XML 文件批量导入 HBase 表的示例。hbase-bulk-import-XML-example 执照Apache 许可。 HBase 提供对大数据的随机读写访问,但将大数据放入 HBase 可能是一个挑战。 使用 API 将数据...

    hbase用于查询客户端工具

    7. **HBase MapReduce**:MapReduce是Hadoop处理大数据的主要工具,HBase与MapReduce结合可以进行批量数据处理和分析。通过编写MapReduce作业,可以对HBase表进行大规模的数据导入和导出,或者执行复杂的数据分析...

    HBase基本操作.pdf

    HBase提供了数据的批量导入操作,常见的工具有HBase自带的ImportTsv和CompleteBulkLoad工具,可以高效地将大量数据导入HBase表中。 ### 实验原理和环境 HBase是一种基于列存储的数据库,它适用于存储非结构化和半...

Global site tag (gtag.js) - Google Analytics