`

HBase 查看HFile内容

阅读更多

HBase 查看HFile内容

 

hbase 查看HFile hbase的数据文件最终存放的是HFile文件,即对MFile存储格式的封装修改,存储的为二进制格式内容,目前hbase提供的hbase org.apache.hadoop.hbase.io.hfile.HFile 工具类可以查看HFile文件内容,对排查region的分布情况有很大用途,以下为查询步骤:

  • 定位HFile文件
[hadoop@rm ~]$ hadoop fs -ls /hbase/data/default/TEST/b91a1994accb6e4fc2515aadd74dfc7b/0
15/03/26 17:47:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
-rw-r--r--   3 hadoop supergroup     327313 2015-03-20 22:18 /hbase/data/default/TEST/b91a1994accb6e4fc2515aadd74dfc7b/0/8413bc9aa70342f0a86a7ca7d70568a9
  • HFile查看8413bc9aa70342f0a86a7ca7d70568a9 文件
hbase hbase org.apache.hadoop.hbase.io.hfile.HFile -f /hbase/data/default/TEST/b91a1994accb6e4fc2515aadd74dfc7b/0/8413bc9aa70342f0a86a7ca7d70568a9 -p
  • 回车即可
  • 更多hbase org.apache.hadoop.hbase.io.hfile.HFile 的参数 可以
[hadoop@rm ~]$ /oneapm/local/hbase-0.98.10.1-hadoop2/bin/hbase org.apache.hadoop.hbase.io.hfile.HFile 
2015-03-26 17:52:45,338 INFO  [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available
2015-03-26 17:52:45,485 INFO  [main] util.ChecksumType: Checksum using org.apache.hadoop.util.PureJavaCrc32
2015-03-26 17:52:45,486 INFO  [main] util.ChecksumType: Checksum can use org.apache.hadoop.util.PureJavaCrc32C
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/oneapm/local/hbase-0.98.10.1-hadoop2/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/oneapm/local/hadoop-2.5.2/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
2015-03-26 17:52:45,757 WARN  [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2015-03-26 17:52:46,329 INFO  [main] Configuration.deprecation: fs.default.name is deprecated. Instead, use fs.defaultFS
usage: HFile [-a] [-b] [-e] [-f <arg> | -r <arg>] [-h] [-k] [-m] [-p]
       [-s] [-v] [-w <arg>]
 -a,--checkfamily         Enable family check
 -b,--printblocks         Print block index meta data
 -e,--printkey            Print keys
 -f,--file <arg>          File to scan. Pass full-path; e.g.
                          hdfs://a:9000/hbase/hbase:meta/12/34
 -h,--printblockheaders   Print block headers for each block.
 -k,--checkrow            Enable row order check; looks for out-of-order
                          keys
 -m,--printmeta           Print meta data of file
 -p,--printkv             Print key/value pairs
 -r,--region <arg>        Region to scan. Pass region name; e.g.
                          'hbase:meta,,1'
 -s,--stats               Print statistics
 -v,--verbose             Verbose output; emits file and meta data
                          delimiters
 -w,--seekToRow <arg>     Seek to this row and print all the kvs for this
                          row only
[hadoop@rm ~]$ 
分享到:
评论

相关推荐

    HBASE hfile v2 format

    hbase hfile v2 format draft 描述存储结构

    Hbase几种入库方式

    HFile 是 Hbase 的存储文件格式,预先生成 HFile 后,可以将其直接加载到 Hbase 中。这是一种高效的入库方式,尤其是在大规模数据集的情况下。预先生成 HFile 入库的优点是快捷、可靠,缺点是需要提前生成 HFile,...

    Hive数据导入HBase的方法.docx

    最后,查看 HBase 表中是否有数据: hbase shell&gt; scan 'hbase_table' 二、Hive 表生成 HFile,通过 bulkload 导入到 HBase 这种方法适用于数据量大的情况(大于 4TB),通过 Hive 将数据转换为 HFile,然后使用 ...

    hadoop mr file2hfile2hbase

    【标题】:“Hadoop MR(MapReduce)将文件转换为HFile并导入到HBase” 在大数据处理领域,Hadoop MapReduce是一种广泛使用的分布式计算框架,而HBase是基于Hadoop的数据存储系统,用于处理大规模的非结构化数据。...

    hbase-2.4.11-src.tar.gz

    HBase使用HFile作为数据存储格式,这是一种二进制格式,支持高效的随机读取和压缩,降低了存储成本。 8. **过滤器和扫描器**: HBase提供了丰富的过滤器和扫描器机制,用户可以通过定义特定的过滤规则来筛选需要...

    MapReduce生成HFile入库到HBase 可能需要的jar包

    MapReduce生成HFile入库到HBase 可能需要的jar包,一共有3个 可以直接放在每台机器的${HADOOP_HOME}/lib下 hadoopHadoop 1.1.2 + hbase 0.94.6.1

    java从本地读文件并上传Hbase

    在Java编程环境中,将本地文件读取并上传到HBase是一项常见的任务,特别是在大数据处理和存储的场景下。HBase是一个分布式、版本化的NoSQL数据库,基于Apache Hadoop,适用于大规模数据存储。以下是一个详细的过程,...

    hive-hbase-generatehfiles

    Hive HBase生成HFile 该项目包含一个示例,该示例利用Hive HBaseStorageHandler生成HFile。 这种模式提供了一种方法,用于获取已存储在Hive中的数据,将其导出为HFile,并从这些HFile批量加载HBase表。概述HFile生成...

    HBase源代码 hbase-0.98.23

    `org.apache.hadoop.hbase.regionserver.StoreFile`类管理每个列族的HFile,当一个Region的大小达到预设阈值时,`org.apache.hadoop.hbase.regionserver.HRegion`会触发分裂过程,这涉及到`org.apache.hadoop.hbase....

    Hbase的安装过程及基本操作

    在本文中,我们将详细讲解Hbase的安装过程以及...同时,理解Hbase的核心概念,如Region、RegionServer、WAL和HFile,对于高效使用Hbase至关重要。在实践中不断学习和探索,你将能更好地驾驭这个强大的大数据存储工具。

    hbase-site.xml.doc

    * hbase.master.hfilecleaner.plugins:org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner,这个参数指定了清理 HFile 的程序。 九、HBase RegionServer 配置 * hbase.regionserver.port:16020,这...

    MR程序Bulkload数据到hbase

    4. **HFile移动**:使用HBase的`importtsv`命令或自定义工具,将HDFS上的HFile移动到HBase的`-ROOT-`和`.META.`表的region服务器上,或者直接将HFile路径添加到HBase的表中。 5. **数据加载**:一旦HFile被正确地...

    HBase 2.0 MOB 保存图片小视频利器-upload_HBase2.0MOB_

    在传统的HBase存储模型中,小文件直接存储在HFile中,可能会导致过多的小文件,从而影响性能。MOB特性通过将小对象集中存储,减少了HRegion内的文件数量,提升了读写效率。它将小对象存储在一个称为Mob File的特殊...

    hbase1.0.3_part2

    3. **HBase的Compaction**:Compaction是HBase中用于合并HFile的过程,目的是减少Region内的文件数量,提高读取效率。有两种类型的Compaction:Minor和Major,前者只合并同一Region的小文件,后者会合并所有文件,...

    HBase MOB user guide

    &lt;name&gt;hbase.regionserver.hfile.mob.cache.enabled &lt;value&gt;true ``` #### 三、MOB文件管理 MOB功能引入了一种新的读写路径,即MOB文件。这些文件通过两种方式清理和压缩:过期MOB文件清理器和MOB压缩器。 ###...

    Cassandra与HBase系统架构比对.pdf

    HBase使用RegionServer来管理HFile,每个RegionServer可以管理多个HFile。 系统架构 Cassandra的系统架构是基于分布式系统的,每个节点可以作为一个独立的服务器。每个节点可以包含多个keyspace,每个keyspace又...

    hbase-1.2.6-bin.tar.gz

    写操作首先写入内存,然后刷入HLog,最后写入HFile,保证了ACID属性中的原子性和持久性。 4. **实时查询**:HBase支持实时的读写操作,这得益于其内存中的数据模型和即时的数据flush机制。 5. **索引与查询优化**...

    Hbase中文文档

    3.1. 从HBase 0.20.x or 0.89.x 升级到 HBase 0.90.x 3.2. 从 0.90.x 到 0.92.x 4. The HBase Shell 4.1. 使用脚本 4.2. Shell 技巧 5. 数据模型 5.1. 概念视图 5.2. 物理视图 5.3. 表 5.4. 行 5.5. 列族 5.6. Cells...

    hbase_0.98.13-hadoop2-bin.tar.gz

    4. 数据版本:HBase默认保留三个版本,可以通过配置`hbase.hregion.max.filesize`和`hbase.hfile.blocksize`调整。 五、Hadoop学习与HBase实践 Hadoop与HBase的配合使用可以发挥大数据处理的强大潜力。你可以通过...

Global site tag (gtag.js) - Google Analytics