博客地址:http://www.oratea.net
hbase-0.94.0有效,HBase权威指南上的介绍过时。
可以通过Export工具将hbase中的表的数据导到hhdfs上
语法为:
bin/hbase org.apache.hadoop.hbase.mapreduce.Export
[ [ []]]
下面拿表sunwg01做测试
hbase org.apache.hadoop.hbase.mapreduce.Export sunwg01 /test/sunwg01
将表sunwg01的数据导出到/test/sunwg01下
[hadoop@sunwg ~]$ hadoop fs -ls /test/sunwg01
Found 3 items
drwxr-xr-x – hadoop supergroup 0 2012-04-05 09:31 /test/sunwg01/_logs
drwxr-xr-x – hadoop supergroup 0 2012-04-05 09:31 /test/sunwg01/_temporary
-rw-r–r– 1 hadoop supergroup 318 2012-04-05 09:31 /test/sunwg01/part-m-00000
查看文件内容,因为文件是seq格式的,所以要使用-text来查看
[hadoop@sunwg ~]$ hadoop fs -text /test/sunwg01/part-m-00000
12/04/05 09:33:59 WARN util.NativeCodeLoader: Unable to load
native-hadoop library for your platform… using builtin-java classes
where applicable
12/04/05 09:33:59 WARN snappy.LoadSnappy: Snappy native library not loaded
72 31 keyvalues={r1/f1:k1/1332849843554/Put/vlen=3}
72 32 keyvalues={r2/f1:k1/1332853651327/Put/vlen=3}
72 33 keyvalues={r3/f1:k1/1332853655990/Put/vlen=3}
72 34 keyvalues={r4/f1:k1/1332853661049/Put/vlen=3}
分享到:
相关推荐
- **触发导出**:可以使用 HBase 的 Export 或 ImportTs 工具,或者自定义 MapReduce 作业来完成导出。 - **Map阶段**:Map 函数读取 HBase 表的每个Region,将数据转化为键值对,键通常包含行键和时间戳,值为...
在Oracle数据库管理中,导入导出工具是两个至关重要的实用程序,用于数据迁移、备份和恢复。这两个工具分别是`exp.exe`(导出工具)和`imp.exe`(导入工具),它们通常位于Oracle安装目录的`bin`子目录下。 **导出...
本文将介绍 HBase 和 Hadoop 数据块损坏的处理方法。 一、HDFS 坏块数据处理 HDFS 坏块数据的处理通常是由挂了两台以上的机器导致的。因此,需要检查集群机器是否挂了多台,然后检查 HDFS 状态。如果不健康,需要...
1. HBase到HDFS:可以通过HBase的Export工具,将HBase表的数据导出到HDFS文件,然后进行进一步处理或备份。 2. HDFS到HBase:可以使用HBase的Import工具,将HDFS上的数据文件加载到HBase表中。此过程通常包括预处理...
tsv格式的数据库测试文件,hbase可以通过采用importtsv导入外部数据到hbase中
本文详细介绍了 Sqoop 数据采集工具的基本概念、安装步骤以及如何与 Hive 和 HBase 协同工作。通过具体的命令示例,读者可以快速上手 Sqoop 的使用,完成数据在传统数据库与 Hadoop 生态系统之间的迁移。此外,还...
本文将详细介绍HBase中的几种备份恢复方法,包括快照(Snapshots)、复制(Replication)、导出/导入(Export/Import)以及拷贝表(CopyTable)等,并通过具体示例加以说明。 #### 二、HBase备份恢复概述 HBase提供了多种...
HBase利用Hadoop的HDFS作为其文件存储系统,并且使用Hadoop MapReduce来处理HBase中的数据,同时能够与Hadoop生态中的其他工具无缝集成。 在HBase中,列族(Column Family)是表数据模型中一个非常重要的概念。列族...
在本实验中,我们使用 HBase Export 将指定的数据导出,然后使用 HBase Import 导入指定的目录。具体步骤如下: 1. 利用 HBase Export 将指定的数据导出。 2. 利用 HBase Import 导入指定的目录。 3. 利用 HBase ...
建造mvn clean package跑步创建快照并立即导出到S3 hadoop jar target/snapshot-s3-util-1.0.0.jar ... BackupUtil [-a] -b <arg> -c | -e | -i | -x [-d ] -k <arg> [-l ] [-m ] [-n ] [-p ] -s <arg> [-t <arg>
“工具”则可能指HBase生态系统中的各种工具,如HBase Shell(命令行接口)用于管理表和操作数据,HBase MapReduce用于批量处理数据,HBase Export和Import工具用于数据导入导出,以及HBase的监控工具如HBase Master...
Export工具允许将HBase中的数据导出到其他格式,如CSV文件,这有助于数据分析和处理。此外,它还可以用来将数据迁移到不同的HBase集群或其他数据库系统中。 ##### 1.1.6 Import 与Export相反,Import工具用于将外部...
- **Import/Export**: `hbase org.apache.hadoop.hbase.mapreduce.Export` 和 `hbase org.apache.hadoop.hbase.mapreduce.Import` 命令用于将数据导出到HDFS或从HDFS导入数据,这在数据迁移或备份场景下非常有用。...
对于批量数据的导入导出,HBase提供了多种工具和技术,如Bulk Load、Export等,以便高效地进行大规模数据处理。 #### HBase的高可用 为了提高系统的可用性和容错能力,HBase采用了多方面的技术手段,包括: - 自动...
虽然目前Hadoop的最新版本已经超越了2.2.0,但由于HBase0.98.1仅支持到Hadoop2.2.0,并且考虑到2.2.0版本已经相当稳定,因此本文选择了这一版本进行介绍。 #### 一、Hadoop安装(伪分布式) ##### 1. 操作系统 ...
本文档主要介绍了 Sqoop 的 `import` 和 `export` 功能。 一、Sqoop Import 导入数据 1. **全量导入** 当你需要将整个 RDBMS 表导入 HDFS 时,可以使用 `--connect`、`--username`、`--password`、`--table` 和 `...
1. 数据导出是逆向操作,使用`sqoop export`命令,指定HDFS中数据的路径,数据库连接参数,以及要写入的表名。 2. Sqoop会读取HDFS中的数据,创建对应的SQL语句,并通过MapReduce作业执行,将数据写入MySQL。 ### ...
Apache Sqoop是一个专门为大数据处理设计的数据迁移工具,它允许用户从关系型数据库管理系统(RDBMS)如MySQL、Oracle、DB2等导入数据到Hadoop的HDFS、Hive、HBase等组件,同时也能将数据导出回RDBMS。Sqoop利用...
本文将详细介绍如何在Hadoop2.6伪分布环境中安装配置Sqoop1.4.6,并进行简单的测试,包括启动Sqoop、MySQL服务以及如何实现从MySQL导入数据到HDFS和从HDFS导出数据到MySQL。 #### 安装环境准备 在开始之前,请确保...