`

向hbase导入数据

阅读更多
1.环境信息
大数据集群利用CHD5.7.0搭建,包括master节点、worker节点、name节点、secondary name节点等总共10个节点,集群通过Kerberos进行认证权限管理。
2.导入步骤
2.1 认证,执行如下命令进行kerberos认证,如果还没有kerberos用户,则需要利用kerberos 管理员创建用户
kinit -kt /keytab/testuser.keytab  testuser

2.1 将数据放到hdfs上
hdfs fs -put 服务器上文件路径(如:/home/me/data) hdfs上文件路径(如 /user/me/data)

在网上也有一些人写的导入hbase时不用将数据推送到hdfs上,直接利用本地文件导入,命令如下,

hbase org.apache.hadoop.hbase.mapreduce.Driver import 'testme:test' file:///test/testdata


这在单节点机器上是可以执行的,或者是运行MR的节点是一个并且和存放数据的服务器一致才能实现,若是在集群环境下执行,MR对应的job调度到其他节点上,放在服务器本机的数据就无法找到。所以在集群环境下还是要先导入到hdfs上。
2.2 利用具有创建hbase命名空间的用户认证,在我这边的环境中hbase具有这样的权限
2.2.1 认证
kinit -kt /keytab/hbase.keytab hbase

2.2.2 创建命名空间




2.2.3 将在命名空间testme下新建表、及增删改的权限赋予我们新创建的用户





2.3 利用新创建的用户进入hbase shell,创建要导入数据的表

create 'testme:test', 'fam'

2.4 执行命令开始导入数据
hbase org.apache.hadoop.hbase.mapreduce.Driver import 'testme:test' hdfs上的数据目录(如:/user/me/data)

  • 大小: 52.1 KB
  • 大小: 11.9 KB
0
0
分享到:
评论

相关推荐

    hbase导入测试数据集

    博客文档链接中提到的内容可能包括使用HBase的命令行接口(HBase Shell)或编程API(如Java API)来导入数据。ORDER_INFO.txt文件很可能是我们需要导入的数据源,它可能包含了订单信息,如订单ID、用户ID、商品ID、...

    hbase海量数据的全量导入方法

    1. **预分区**:在导入数据前,根据预计的数据量创建足够的区域(region),避免数据导入过程中动态分区导致的性能损耗。 2. **使用HFileOutputFormat**:HBase提供了HFileOutputFormat类,可以将数据直接写入HFile...

    hbase导入话单数据mapreduce函数实现执行过程实例(博客附件)

    标题中的“hbase导入话单数据mapreduce函数实现执行过程实例”揭示了本文将探讨如何使用MapReduce在HBase中导入大数据,特别是话单记录。HBase是一个分布式、版本化的NoSQL数据库,常用于处理大规模的数据。...

    hbase数据可视化系统

    《HBase数据可视化系统构建详解》 在大数据领域,HBase作为一款分布式列式数据库,因其高并发、低...在实际应用中,可以根据需求进一步扩展功能,例如支持更复杂的查询条件、数据导出导入等,以满足不同场景的需求。

    java解决hive快速导数据到Hbase代码

    总之,Java在Hive和HBase的数据交互中起到桥梁作用,通过精心设计的数据处理流程和合理的利用HBase的Bulk Load特性,可以高效地将Hive中的大量数据导入到HBase,满足实时查询的需求。在大数据场景下,这种方案具有很...

    kettle集群搭建以及使用kettle将mysql数据转换为Hbase数据

    在完成集群搭建后,接下来就是利用Kettle将MySQL中的数据转换并导入到HBase中。这一步骤主要包括以下几个方面: 1. **建立连接**:使用Kettle建立与MySQL数据库的连接,并确保连接正确无误。 2. **数据抽取**:设计...

    HDFS 通过mapreduce 进行 HBase 导入导出

    标题 "HDFS 通过 mapreduce 进行 HBase 导入导出" 涉及的是大数据处理领域中的两个重要组件——Hadoop Distributed File System (HDFS) 和 HBase,以及它们之间的数据交互。HDFS 是 Hadoop 的分布式文件系统,而 ...

    Hive数据导入HBase的方法.docx

    Hive 数据导入 HBase 的方法 Hive 是一个基于 Hadoop 的数据仓库工具,而 HBase 是一个基于 Hadoop 的 NoSQL 数据库。它们都是大数据处理的重要组件。在数据处理过程中,经常需要将数据从 Hive 导入到 HBase 中。...

    hbase备份和数据恢复

    2. HBase到Hive:通过MapReduce任务,将HBase中的数据导入到Hive,创建Hive表并加载数据。也可以使用HBaseSerDe来解析HBase数据。 三、HBase和HDFS互导 1. HBase到HDFS:可以通过HBase的Export工具,将HBase表的...

    java代码将mysql表数据导入HBase表

    总结,通过上述步骤,我们可以成功地将MySQL中的数据导入到HBase。在实际项目中,可能需要考虑更多因素,例如数据清洗、错误处理、性能优化等。此外,为了实现大规模数据迁移,可以考虑使用批处理或MapReduce等技术...

    spark读取hbase数据,并使用spark sql保存到mysql

    在大数据处理领域,Spark 和 HBase 以及 MySQL 都扮演着重要的角色。Spark 提供了高效的数据处理能力,HBase 是一个分布式、面向列的NoSQL数据库,而 MySQL 是广泛使用的的关系型数据库。本示例将详细介绍如何使用 ...

    关系型数据库的数据导入Hbase

    本篇文章将详细介绍如何将关系型数据库的数据导入到Hbase中,包括离线和实时两种方式。 1. 离线数据导入: 离线数据导入通常在系统低峰期进行,适用于大量数据迁移。常见的工具包括Apache Nifi、Sqoop和Hadoop ...

    将hdfs上的文件导入hbase的源代码

    7. **监控和验证**:导入完成后,通过HBase的监控工具或自定义脚本检查导入结果,确保数据正确无误地导入到HBase。 在提供的"ImpDataToHbase"源代码中,我们可以看到这些步骤的具体实现。源代码可能包括了数据...

    sqoop把mysql数据导入hbase2.1.6

    然后使用以下命令导入数据到HBase: ```bash sqoop import --connect jdbc:mysql://master:3306/test --username root --password root --table Student --columns "Sno,Sname,Sex,Sage,Sdept" --split-by Sno --...

    mysql导入hbase所需要的jar

    当尝试使用Sqoop从MySQL导入数据到HBase时,可能需要特定的JAR文件来处理MySQL的数据格式和HBase的存储模型之间的差异。 描述中提到的"报错空指针,且提示json错误",这通常是由于JSON解析问题导致的。JSON...

    mysql中数据经处理导入到hbase中

    导入数据到HBase通常通过HBase的客户端API实现,这些API提供了连接到HBase集群、创建表、插入数据等功能。例如,在Java中,我们可以使用HBase的Admin API创建表,然后使用Put对象添加数据。在导入过程中,需要将JSON...

    基于Apache HBase的CSV数据批量导入与操作工具.zip

    本项目是一个基于Apache HBase的工具,旨在从CSV文件中批量导入数据到HBase数据库,并提供基本的数据操作示例。HBase是一个分布式、可扩展的大数据存储系统,适用于处理海量数据。本项目利用HBase的强大功能,实现了...

    Hive、MySQL、HBase数据互导

    使用HBase Java API把数据从本地导入到HBase中**: - 创建Java项目,导入HBase相关依赖库。 - 使用HBase的Admin API创建HBase表。 - 编写代码,使用Table和Put对象将数据从本地文件读取并写入到HBase表中。 - ...

    连接 HBASE和MongoDB的驱动程序,配置后可直接导数据。很好用.zip

    这暗示了可能有一个解决方案,可以将MongoDB的数据先导入到Solr,然后通过Solr与HBase交互,因为Solr与HBase的集成相对成熟,有专门的HBase Realtime Get (HRG)插件支持。 另一个文件名"W"没有明确的上下文,可能是...

    hbase导出csv,文本,html文件

    2. **数据导入Hive**:创建一个Hive外部表,该表与HBase表结构对应,然后使用`LOAD DATA`命令将HBase查询结果导入Hive。这一步需要配置HBase与Hive之间的连接,例如通过设置`hbase-site.xml`和`core-site.xml`的属性...

Global site tag (gtag.js) - Google Analytics