hbase导入导出第一方案:
hbase已经自带了这个命令,下面就说一下怎么使用这个命令
(一)设置环境变量
在hadoop-0.20.2/conf/hadoop-env.sh 中添加
export HBASE_HOME=/home/rain/hbase/hbase-0.90.0
export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.90.0.jar:$HBASE_HOME:$HBASE_HOME/lib/zookeeper-3.3.2.jar:$HBASE_HOME/conf
(二)导出
1)输入命令hadoop-0.20.2/bin/hadoop jar /home/rain/hbase/hbase-0.90.0/hbase-0.90.0.jar export 表名 路径
eg:hadoop-0.20.2/bin/hadoop jar /home/rain/hbase/hbase-0.90.0/hbase-0.90.0.jar export CARREGISTER /home/rain/tableout
2)从hdfs拷出来
输入命令hadoop-0.20.2/bin/hadoop -copyToLocal /home/rain/tableout /somewhere/local
eg:hadoop-0.20.2/bin/hadoop -copyToLocal /home/rain/tableout /home/rain/tableout
查看/home/rain/tableout里是否有part-m-000000,这个就是这个表导出的内容
导入
1)把rt-m-000000导入hdfs
输入命令:hadoop-0.20.2/bin/hadoop -copyFromLocal /somewhere/local /import/your_table
eg.hadoop-0.20.2/bin/hadoop -copyFromLocal /somewhere/local /import/carregister
从hdfs导入到hbase
输入命令:hadoop-0.20.2/bin/hadoop jar /path/to/hbase-0.90.0.jar 表名 hdfs路径
eg。doop-0.20.2/bin/hadoop jar /path/to/hbase-0.90.0.jar CARREGISTER /import/carregister
详细资料参考http://www.sethcall.com/blog/2010/04/10/how-to-export-and-import-an-hbase-table/
hbase导入导出第二方案:[size=large][/size]
把hbase中某个表第数据导出到Hadoop中:
>hbase org.apache.Hadoop.hbase.mapreduce.Driver export table1 table1
hbase中首先要有table1这个表才能导出成功。导出的表,在Hadoop文件系统的当前用户目录下,table1文件夹中。例如,导出后在hadoop文件系统中的目录结构:
Hadoop fs -ls后,看到:
/user/blackwing/table1/part-r-00000
2.把这个表导入到另外一台机器第hbase中时,需要把part-r-00000先put到Hadoop中,假设put的路径也是:
/user/blackwing/table1/
而且,这个要导入的hbase要已经建有相同第表格。
那么从Hadoop中导入数据到hbase:
>hbase org.apache.Hadoop.hbase.mapreduce.Driver import table1 part-r-00000
这样,没有意外的话就能正常把hbase数据导入到另外一个hbase数据库。
分享到:
相关推荐
标题 "HDFS 通过 mapreduce 进行 HBase 导入导出" 涉及的是大数据处理领域中的两个重要组件——Hadoop Distributed File System (HDFS) 和 HBase,以及它们之间的数据交互。HDFS 是 Hadoop 的分布式文件系统,而 ...
6. **终端mac查询脚本**:在Mac终端中,可以编写shell脚本来自动化这些过程,包括执行HBase查询、Hive操作、数据库导入导出等,以提高效率和减少手动错误。 这个流程体现了大数据处理中的一种典型数据流:从NoSQL...
在Oracle数据库管理中,导入导出工具是两个至关重要的实用程序,用于数据迁移、备份和恢复。这两个工具分别是`exp.exe`(导出工具)和`imp.exe`(导入工具),它们通常位于Oracle安装目录的`bin`子目录下。 **导出...
标题中的“hbase导入话单数据mapreduce函数实现执行过程实例”揭示了本文将探讨如何使用MapReduce在HBase中导入大数据,特别是话单记录。HBase是一个分布式、版本化的NoSQL数据库,常用于处理大规模的数据。...
hbase导入hbase导入
tsv格式的数据库测试文件,hbase可以通过采用importtsv导入外部数据到hbase中
在将CSV数据导入HBase之前,我们通常需要进行预处理,这包括数据清洗、转换以及将其格式化为适合HBase的键值对。以下是一个简单的Python示例,展示如何使用HappyBase库(一个Python HBase客户端)来实现这个过程: ...
【Sqoop数据导入导出详解】 Sqoop是一个用于在关系型数据库和Hadoop之间传输数据的工具,它利用Hadoop的MapReduce框架实现大规模数据的高效导入和导出。本篇将详细介绍Sqoop的导入和导出过程,以及在MySQL、HDFS、...
通过 Sqoop导出到Hbase,需要先将数据导入HDFS,再用Hbase的Import命令将数据加载到Hbase表中。 - Hadoop MapReduce:可以编写自定义的MapReduce作业,将RDBMS数据读取、转换并写入Hbase。这种方法灵活性高,但开发...
`Sqoop`是一个用于在Hadoop和关系数据库之间进行数据导入导出的工具,它使得在SQL Server与HBase之间进行数据交互变得更加便捷。本文将详细探讨如何使用`Sqoop`来从SQL Server导入数据到HBase,并涉及相关的jar包和...
4. 导入导出:工具提供数据导入和导出功能,允许用户将数据从CSV或其他格式导入到HBase,或将HBase中的数据导出到文件系统,便于数据分析和备份恢复。 5. 权限管理:对于多用户环境,权限管理是必不可少的。该管理...
在实际应用中,你可能还需要学习如何创建表、插入数据、查询数据、管理表的列族和版本、进行数据的批量导入导出、监控HBase性能等操作。此外,HBase的运维也是一项重要任务,包括定期备份、恢复、优化等。理解HBase...
【大数据实践-Sqoop数据导入导出】 Sqoop是一个用于在关系型数据库和Hadoop之间进行数据迁移的工具。在大数据处理中,Sqoop扮演着关键角色,它使得传统数据库中的数据可以方便地导入到Hadoop的HDFS(Hadoop ...
它们还可能具备导入导出数据、执行SQL-like查询、性能调优分析等功能,极大地提升了HBase的易用性。 在HBase 1.x版本中,常用的可视化客户端工具有Apache Ambari的HBase组件、HBase Shell增强版如Beeswax或HBase ...
通过编写MapReduce作业,可以对HBase表进行大规模的数据导入和导出,或者执行复杂的数据分析任务。 在实际使用中,选择哪个客户端工具取决于具体的需求和使用场景。例如,如果需要快速原型开发或简单的数据操作,...
4. **Sqoop工具的使用**:学习使用Sqoop进行数据导入导出,包括连接数据库、定义导入导出参数、处理数据类型映射等。 5. **HBase Java API编程**:掌握如何使用Java编程接口与HBase交互,包括创建表、插入数据、...
基于JavaFX + HBase API开发,...5. 核心设计:通过Apache POI 实现了 Excel(对Excel 03 和 07 版本全部支持) 和 HBase 之间数据导入和导出支持,使用 Java多线程技术使得导入Excel数据到HBase速度提升了7倍左右!
此外,可视化客户端通常还具备数据导入导出功能。用户可以将CSV或Excel文件批量导入到HBase表中,也可以将数据导出为各种格式,便于数据分析或备份。这对于数据迁移和数据交换场景非常有用。 在管理层面,此工具...
《HBase数据可视化系统构建详解》 在大数据领域,HBase作为一款分布式列式数据库,因其高并发、低...在实际应用中,可以根据需求进一步扩展功能,例如支持更复杂的查询条件、数据导出导入等,以满足不同场景的需求。