`

hbase 通过hbase命令数据导入导出(了解)

 
阅读更多

 

 

常看到hbase数据导入导出有:  

1 mr方式 

2 bulkbold 

3 操作hbase java api put方式

 

这里说的是通过hbase 命令方式,感觉这个方式没有什么用处,暂且记录下:

 

 

 hbase 数据导出:

 

数据导出
hbase org.apche.hadoop.hbase.mapreduce.Driver export 表名  导出的路径
eg:
[root@hadoop3 bin]# hbase org.apache.hadoop.hbase.mapreduce.Driver export  stu /hbasedata 会新建hdfs目录/hbasedata,然后数据导出到这目录下
执行完毕mr后,会报错:
2016-02-27 16:26:52,218 INFO  [main] mapreduce.Job:  map 0% reduce 0%
2016-02-27 16:27:11,593 INFO  [main] mapreduce.Job:  map 100% reduce 0%
2016-02-27 16:27:12,648 INFO  [main] mapreduce.Job: Job job_1456616077921_0001 completed successfully
Exception in thread "main" java.lang.reflect.InvocationTargetException  这就不知道是为啥了  但是数据导出已经成功

 

结果图:

 



 

 

 

hbase 命令方式导入数据到hbase:

 

hbase org.apache.hadoop.hbase.mapreduce.Driver import 表名  files 导入文件路径(可以是本地files 可以是hdfs)
hbase org.apache.hadoop.hbase.mapreduce.Driver import stu1  hdfs://ip:9000/hdfs文件路径
hbase org.apache.hadoop.hbase.mapreduce.Driver import stu1  file://本地路径

 

[root@hadoop3 bin]# hbase org.apache.hadoop.hbase.mapreduce.Driver import  stu1 /hbasedata

做测试时候 上述导入操作 报错,

2016-02-27 18:12:16,950 INFO  [main] mapreduce.Job: Task Id : attempt_1456616077921_0003_m_000000_2, Status : FAILED

 

没找到原因,暂时不关注 ......

  • 大小: 66.1 KB
分享到:
评论

相关推荐

    hbase导出csv,文本,html文件

    6. **终端mac查询脚本**:在Mac终端中,可以编写shell脚本来自动化这些过程,包括执行HBase查询、Hive操作、数据库导入导出等,以提高效率和减少手动错误。 这个流程体现了大数据处理中的一种典型数据流:从NoSQL...

    HDFS 通过mapreduce 进行 HBase 导入导出

    标题 "HDFS 通过 mapreduce 进行 HBase 导入导出" 涉及的是大数据处理领域中的两个重要组件——Hadoop Distributed File System (HDFS) 和 HBase,以及它们之间的数据交互。HDFS 是 Hadoop 的分布式文件系统,而 ...

    关系型数据库的数据导入Hbase

    通过 Sqoop导出到Hbase,需要先将数据导入HDFS,再用Hbase的Import命令将数据加载到Hbase表中。 - Hadoop MapReduce:可以编写自定义的MapReduce作业,将RDBMS数据读取、转换并写入Hbase。这种方法灵活性高,但开发...

    tsv格式的数据库测试文件,hbase可以通过采用importtsv导入外部数据到hbase中

    tsv格式的数据库测试文件,hbase可以通过采用importtsv导入外部数据到hbase中

    hbase数据可视化系统

    《HBase数据可视化系统构建详解》 在大数据领域,HBase作为一款分布式列式数据库,因其高并发、低...在实际应用中,可以根据需求进一步扩展功能,例如支持更复杂的查询条件、数据导出导入等,以满足不同场景的需求。

    hbase_shell操作命令

    在HBase中,HBase Shell是一个...通过这些命令,用户可以轻松管理HBase中的数据,进行数据导入导出、表的备份恢复、性能调优等操作。同时,HBase Shell也支持自定义Java代码执行更复杂的逻辑,满足更多样化的业务需求。

    hbase存储csv数据的代码实现

    了解了基本的HBase数据导入流程后,你还可以深入学习如何使用HBase的API进行更复杂的操作,例如过滤、扫描、合并和删除等。同时,熟悉HBase的监控和调优也至关重要,以确保系统的稳定性和性能。 总结来说,将CSV...

    hbase备份和数据恢复

    2. HBase到Hive:通过MapReduce任务,将HBase中的数据导入到Hive,创建Hive表并加载数据。也可以使用HBaseSerDe来解析HBase数据。 三、HBase和HDFS互导 1. HBase到HDFS:可以通过HBase的Export工具,将HBase表的...

    Hive、MySQL、HBase数据互导

    4. **Sqoop工具的使用**:学习使用Sqoop进行数据导入导出,包括连接数据库、定义导入导出参数、处理数据类型映射等。 5. **HBase Java API编程**:掌握如何使用Java编程接口与HBase交互,包括创建表、插入数据、...

    nosql实验五-HBase数据迁移与数据备份&恢复.docx

    在本实验中,我们使用 HBase Export 将指定的数据导出,然后使用 HBase Import 导入指定的目录。具体步骤如下: 1. 利用 HBase Export 将指定的数据导出。 2. 利用 HBase Import 导入指定的目录。 3. 利用 HBase ...

    23-Sqoop数据导入导出1

    【Sqoop数据导入导出详解】 Sqoop是一个用于在关系型数据库和Hadoop之间传输数据的工具,它利用Hadoop的MapReduce框架实现大规模数据的高效导入和导出。本篇将详细介绍Sqoop的导入和导出过程,以及在MySQL、HDFS、...

    导入导出工具

    这些命令提供了对Oracle数据库数据导入导出的基本控制,可以根据实际需求进行灵活调整。在执行这些操作时,需要注意权限问题以及可能遇到的错误,如对象已存在、对象所有权问题等,确保导入导出过程顺利进行。

    hbase用于查询客户端工具

    通过编写MapReduce作业,可以对HBase表进行大规模的数据导入和导出,或者执行复杂的数据分析任务。 在实际使用中,选择哪个客户端工具取决于具体的需求和使用场景。例如,如果需要快速原型开发或简单的数据操作,...

    hbase安装包

    在实际应用中,你可能还需要学习如何创建表、插入数据、查询数据、管理表的列族和版本、进行数据的批量导入导出、监控HBase性能等操作。此外,HBase的运维也是一项重要任务,包括定期备份、恢复、优化等。理解HBase...

    大数据实践-sqoop数据导入导出.doc

    【大数据实践-Sqoop数据导入导出】 Sqoop是一个用于在关系型数据库和Hadoop之间进行数据迁移的工具。在大数据处理中,Sqoop扮演着关键角色,它使得传统数据库中的数据可以方便地导入到Hadoop的HDFS(Hadoop ...

    hbase导入话单数据mapreduce函数实现执行过程实例(博客附件)

    标题中的“hbase导入话单数据mapreduce函数实现执行过程实例”揭示了本文将探讨如何使用MapReduce在HBase中导入大数据,特别是话单记录。HBase是一个分布式、版本化的NoSQL数据库,常用于处理大规模的数据。...

    Sqoop数据库数据导入导出教程PDF

    把关系型数据库的数据导入到Hadoop系统(如HDFS,Hbase和Hive中) 把数据从Hadoop系统里面抽取并导出到关系型数据库中 利用MapReduce加快数据处理速度 ·批处理方式进行数据传输 Sqoop 优势 ·¬高效、可控地利用资源 ...

    Hbase 可视化客户端工具(非phoenix连接)

    此外,可视化客户端通常还具备数据导入导出功能。用户可以将CSV或Excel文件批量导入到HBase表中,也可以将数据导出为各种格式,便于数据分析或备份。这对于数据迁移和数据交换场景非常有用。 在管理层面,此工具...

    Hbase数据库界面管理器

    4. 导入导出:工具提供数据导入和导出功能,允许用户将数据从CSV或其他格式导入到HBase,或将HBase中的数据导出到文件系统,便于数据分析和备份恢复。 5. 权限管理:对于多用户环境,权限管理是必不可少的。该管理...

    hbase-2.0.1-bin.tar

    HBase的日常管理和操作也非常重要,包括表的创建、删除、分区,数据导入导出,性能调优等。例如,使用HFile V2或V3格式可以优化存储效率;通过Region Split策略调整数据分布,避免热点问题;还可以通过监控工具查看...

Global site tag (gtag.js) - Google Analytics