`
lbxhappy
  • 浏览: 307290 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hbase 导入导出

 
阅读更多
hbase导入导出第一方案:
hbase已经自带了这个命令,下面就说一下怎么使用这个命令

(一)设置环境变量

在hadoop-0.20.2/conf/hadoop-env.sh 中添加

export HBASE_HOME=/home/rain/hbase/hbase-0.90.0

export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.90.0.jar:$HBASE_HOME:$HBASE_HOME/lib/zookeeper-3.3.2.jar:$HBASE_HOME/conf

(二)导出

1)输入命令hadoop-0.20.2/bin/hadoop jar /home/rain/hbase/hbase-0.90.0/hbase-0.90.0.jar export 表名 路径

eg:hadoop-0.20.2/bin/hadoop jar /home/rain/hbase/hbase-0.90.0/hbase-0.90.0.jar export CARREGISTER /home/rain/tableout

2)从hdfs拷出来

输入命令hadoop-0.20.2/bin/hadoop -copyToLocal /home/rain/tableout /somewhere/local

eg:hadoop-0.20.2/bin/hadoop -copyToLocal /home/rain/tableout /home/rain/tableout

查看/home/rain/tableout里是否有part-m-000000,这个就是这个表导出的内容



导入

1)把rt-m-000000导入hdfs

输入命令:hadoop-0.20.2/bin/hadoop -copyFromLocal /somewhere/local  /import/your_table

eg.hadoop-0.20.2/bin/hadoop -copyFromLocal /somewhere/local  /import/carregister

从hdfs导入到hbase

输入命令:hadoop-0.20.2/bin/hadoop jar /path/to/hbase-0.90.0.jar 表名 hdfs路径

eg。doop-0.20.2/bin/hadoop jar /path/to/hbase-0.90.0.jar CARREGISTER /import/carregister

详细资料参考http://www.sethcall.com/blog/2010/04/10/how-to-export-and-import-an-hbase-table/

hbase导入导出第二方案:
[size=large][/size]
把hbase中某个表第数据导出到Hadoop中:

>hbase org.apache.Hadoop.hbase.mapreduce.Driver export table1 table1 

hbase中首先要有table1这个表才能导出成功。导出的表,在Hadoop文件系统的当前用户目录下,table1文件夹中。例如,导出后在hadoop文件系统中的目录结构:

Hadoop fs -ls后,看到:

/user/blackwing/table1/part-r-00000

2.把这个表导入到另外一台机器第hbase中时,需要把part-r-00000先put到Hadoop中,假设put的路径也是:

/user/blackwing/table1/

而且,这个要导入的hbase要已经建有相同第表格。

那么从Hadoop中导入数据到hbase:

>hbase org.apache.Hadoop.hbase.mapreduce.Driver import table1 part-r-00000 

这样,没有意外的话就能正常把hbase数据导入到另外一个hbase数据库。
分享到:
评论

相关推荐

    HDFS 通过mapreduce 进行 HBase 导入导出

    标题 "HDFS 通过 mapreduce 进行 HBase 导入导出" 涉及的是大数据处理领域中的两个重要组件——Hadoop Distributed File System (HDFS) 和 HBase,以及它们之间的数据交互。HDFS 是 Hadoop 的分布式文件系统,而 ...

    hbase导出csv,文本,html文件

    6. **终端mac查询脚本**:在Mac终端中,可以编写shell脚本来自动化这些过程,包括执行HBase查询、Hive操作、数据库导入导出等,以提高效率和减少手动错误。 这个流程体现了大数据处理中的一种典型数据流:从NoSQL...

    导入导出工具

    在Oracle数据库管理中,导入导出工具是两个至关重要的实用程序,用于数据迁移、备份和恢复。这两个工具分别是`exp.exe`(导出工具)和`imp.exe`(导入工具),它们通常位于Oracle安装目录的`bin`子目录下。 **导出...

    hbase导入话单数据mapreduce函数实现执行过程实例(博客附件)

    标题中的“hbase导入话单数据mapreduce函数实现执行过程实例”揭示了本文将探讨如何使用MapReduce在HBase中导入大数据,特别是话单记录。HBase是一个分布式、版本化的NoSQL数据库,常用于处理大规模的数据。...

    MapReduce导出hbase数据工具BillFeeImport.jar

    hbase导入hbase导入

    tsv格式的数据库测试文件,hbase可以通过采用importtsv导入外部数据到hbase中

    tsv格式的数据库测试文件,hbase可以通过采用importtsv导入外部数据到hbase中

    hbase存储csv数据的代码实现

    在将CSV数据导入HBase之前,我们通常需要进行预处理,这包括数据清洗、转换以及将其格式化为适合HBase的键值对。以下是一个简单的Python示例,展示如何使用HappyBase库(一个Python HBase客户端)来实现这个过程: ...

    23-Sqoop数据导入导出1

    【Sqoop数据导入导出详解】 Sqoop是一个用于在关系型数据库和Hadoop之间传输数据的工具,它利用Hadoop的MapReduce框架实现大规模数据的高效导入和导出。本篇将详细介绍Sqoop的导入和导出过程,以及在MySQL、HDFS、...

    关系型数据库的数据导入Hbase

    通过 Sqoop导出到Hbase,需要先将数据导入HDFS,再用Hbase的Import命令将数据加载到Hbase表中。 - Hadoop MapReduce:可以编写自定义的MapReduce作业,将RDBMS数据读取、转换并写入Hbase。这种方法灵活性高,但开发...

    从SQLServer导入HBase的sqoop jar包

    `Sqoop`是一个用于在Hadoop和关系数据库之间进行数据导入导出的工具,它使得在SQL Server与HBase之间进行数据交互变得更加便捷。本文将详细探讨如何使用`Sqoop`来从SQL Server导入数据到HBase,并涉及相关的jar包和...

    Hbase数据库界面管理器

    4. 导入导出:工具提供数据导入和导出功能,允许用户将数据从CSV或其他格式导入到HBase,或将HBase中的数据导出到文件系统,便于数据分析和备份恢复。 5. 权限管理:对于多用户环境,权限管理是必不可少的。该管理...

    hbase安装包

    在实际应用中,你可能还需要学习如何创建表、插入数据、查询数据、管理表的列族和版本、进行数据的批量导入导出、监控HBase性能等操作。此外,HBase的运维也是一项重要任务,包括定期备份、恢复、优化等。理解HBase...

    大数据实践-sqoop数据导入导出.doc

    【大数据实践-Sqoop数据导入导出】 Sqoop是一个用于在关系型数据库和Hadoop之间进行数据迁移的工具。在大数据处理中,Sqoop扮演着关键角色,它使得传统数据库中的数据可以方便地导入到Hadoop的HDFS(Hadoop ...

    Hbase1.x可视化客户端工具

    它们还可能具备导入导出数据、执行SQL-like查询、性能调优分析等功能,极大地提升了HBase的易用性。 在HBase 1.x版本中,常用的可视化客户端工具有Apache Ambari的HBase组件、HBase Shell增强版如Beeswax或HBase ...

    hbase用于查询客户端工具

    通过编写MapReduce作业,可以对HBase表进行大规模的数据导入和导出,或者执行复杂的数据分析任务。 在实际使用中,选择哪个客户端工具取决于具体的需求和使用场景。例如,如果需要快速原型开发或简单的数据操作,...

    Hive、MySQL、HBase数据互导

    4. **Sqoop工具的使用**:学习使用Sqoop进行数据导入导出,包括连接数据库、定义导入导出参数、处理数据类型映射等。 5. **HBase Java API编程**:掌握如何使用Java编程接口与HBase交互,包括创建表、插入数据、...

    HBase可视化客户端

    基于JavaFX + HBase API开发,...5. 核心设计:通过Apache POI 实现了 Excel(对Excel 03 和 07 版本全部支持) 和 HBase 之间数据导入和导出支持,使用 Java多线程技术使得导入Excel数据到HBase速度提升了7倍左右!

    Hbase 可视化客户端工具(非phoenix连接)

    此外,可视化客户端通常还具备数据导入导出功能。用户可以将CSV或Excel文件批量导入到HBase表中,也可以将数据导出为各种格式,便于数据分析或备份。这对于数据迁移和数据交换场景非常有用。 在管理层面,此工具...

    Hbase

    开发者可以使用这些工具进行数据导入导出、数据查询、性能调优等工作。此外,HBase 集成了 Hive、Pig 等大数据处理工具,使得数据分析更加便捷。 总结来说,HBase 是一个面向列的分布式数据库,适合处理海量结构化...

Global site tag (gtag.js) - Google Analytics