`
shenchunhui
  • 浏览: 147194 次
  • 来自: 杭州
社区版块
存档分类
最新评论

【HBase工具】查看解析HFile

阅读更多
查看HFile是HBase本身自带的一个很实用的工具

使用也很简单:

$ ${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.io.hfile.HFile 
usage: HFile  [-a] [-b] [-e] [-f <arg>] [-k] [-m] [-p] [-r <arg>] [-v]
-a,--checkfamily    Enable family check
-b,--printblocks    Print block index meta data
-e,--printkey       Print keys
-f,--file <arg>     File to scan. Pass full-path; e.g.
                     hdfs://a:9000/hbase/.META./12/34
-k,--checkrow       Enable row order check; looks for out-of-order keys
-m,--printmeta      Print meta data of file
-p,--printkv        Print key/value pairs
-r,--region <arg>   Region to scan. Pass region name; e.g. '.META.,,1'
-v,--verbose        Verbose output; emits file and meta data delimiters


工作中用到过该工具的几个场景:
1.测试或应用中,发现数据正确性有误,可以使用该工具,看看HFile中的真实数据

2.业务反映scan某表没反应,直到超时,服务端日志中无任何异常,后来直接分析HFile,发现用户设置了TTL,所有数据都已经过期了,所以scan变成了全表扫描了,orz。。。
分享到:
评论

相关推荐

    hadoop mr file2hfile2hbase

    3. **Bulk Load**:使用HBase的`importtsv`工具或者自定义程序,将HFile批量导入到已创建的表中。这一步通常比单个Put操作快得多,因为它利用了HBase的RegionServer内部机制直接写入HFile,避免了网络传输的开销。 ...

    MR程序Bulkload数据到hbase

    4. **HFile移动**:使用HBase的`importtsv`命令或自定义工具,将HDFS上的HFile移动到HBase的`-ROOT-`和`.META.`表的region服务器上,或者直接将HFile路径添加到HBase的表中。 5. **数据加载**:一旦HFile被正确地...

    java解决hive快速导数据到Hbase代码

    5. **执行MapReduce作业**:编写一个MapReduce作业,该作业使用HFileOutputFormat作为输出格式,将上一步骤中写入HDFS的数据转化为HBase可读的HFile格式。 6. **加载HFiles**:最后,通过HBase的Admin API或者HBase...

    java大数据作业_3HBase

    ### Java大数据作业_3HBase知识点解析 #### 1. 使用Java集合的代码描述HBase的表结构 在HBase中,表结构由一系列的行组成,每行都有唯一的row key,并且每个单元格都存储在列族下。为了描述这样一个表结构,我们...

    HBase 实战经验分享.pdf

    本文将深入解析HBase的基础概念、需求调研、RowKey设计以及实战案例,帮助读者更好地理解和运用HBase。 首先,我们来看HBase的基础概念。HBase是一种基于Google Bigtable理念设计的开源分布式数据库,它构建于...

    备注标签博文篇

    通过这篇博文,读者可能能了解到如何查看和解析HFile,以及如何利用HFile的特性进行性能调优。此外,如果结合源码分析,可能会探讨到HBase源码中的HFile相关类和方法,帮助开发者深入理解HBase的数据存储机制。 ...

    Introduction of HBase

    6. **HFile**:HBase的数据文件格式,用于持久化数据到磁盘。 **工具** 为了方便管理和操作HBase,有多种工具可供使用: 1. **HBase Shell**:命令行界面,可以进行基本的CRUD(创建、读取、更新、删除)操作和...

    HBase技术原理

    5. **HBase读写流程**:深入解析数据的写入过程(包括WAL日志、MemStore和HFile)、读取流程以及一致性保证。 6. **HBase查询优化**:如何设计有效的行键以提高查询性能,以及使用Scanners和Filters进行复杂查询。 ...

    将hdfs上的文件导入hbase的源代码

    1. **数据预处理**:HDFS上的文件可能是CSV、JSON或自定义格式,需要先进行解析和转换,使其符合HBase的表结构。这可能涉及到使用MapReduce或者Spark等工具进行数据清洗和转换。 2. **创建HBase表**:在HBase中创建...

    hbase-0.98.12.1-src.tar.gz

    - **监控与管理**:提供了更强大的监控和管理工具,便于管理员监控集群状态和进行故障排查。 - **API增强**:扩展了客户端API,为开发者提供了更多的操作选项。 3. **源码结构解析** 源码包`hbase-0.98.12.1`...

    hbase运维手册

    HFile查看工具可以帮助运维人员查看HBase中存储的数据文件(HFiles)。这些文件是HBase存储数据的基本单元,理解它们的内容对于调试和优化HBase性能至关重要。 ##### 1.1.4 CopyTable CopyTable是一种工具,用于...

    hbase权威指南

    - **HDFS**:HBase依赖HDFS作为底层存储,用于持久化Region的WAL(Write Ahead Log)和HFile数据。 ### 五、HBase的安装与配置 - **Java环境**:HBase运行需要Java环境,建议使用最新稳定版的JDK。 - **Hadoop环境...

    MR-read-Hfile2

    1. **Mapper类**:负责从HFile中解析和处理数据,通常会实现Map函数,将输入的HFile记录映射为一系列键值对。 2. **Reducer类**:可能包含Reduce函数,用于聚合或处理由Mapper产生的中间结果。 3. **InputFormat类**...

    hadoop考试试题.pdf

    9. HBase的数据文件HFile中的KeyValue格式包含了Key、Value、Timestamp和Key Type等信息,它们共同构成了HBase存储的基本单元。 10. 在FusionInsight HG集群规划设计时,对于网络带宽的要求,业务平面所有节点应...

    分布式数据库项目

    六、源码解析与工具使用 HBase的源码提供了深入了解其实现细节的机会,学习源码有助于优化性能和解决实际问题。同时,掌握HBase的相关工具如HBase Shell、HBaseAdmin等,能有效进行表管理、监控和故障排查。 总结...

    nosql分布式数据库期末考试题.docx

    HBase数据迁移工具的是 CopyTable 。** - 正确描述。 **14. MongoDB的 文档 类似于关系数据库治理系统中的行。** - 正确描述。 **15. MongoDB中存储的文档必需有一个 id 键。** - 正确描述。 **16. 在HDFS中...

    《大数据平台搭建与配置管理》期末试题试卷及答案AB卷2套.docx

    - **易用性**:提供友好的接口和工具。 - **安全性**:保护数据免受未授权访问。 以上知识点涵盖了《大数据平台搭建与配置管理》课程中的关键概念和技术细节,对于理解和掌握大数据平台的搭建和配置管理具有重要...

    hbaseLoading

    5. **批量写入优化**:为了提高效率,可以使用`Put`对象的批量写入功能,或者使用`BulkLoadHFile`工具,将转换后的数据写入HFile格式,然后直接加载到RegionServer,避免了网络传输的开销。 6. **监控与错误处理**...

Global site tag (gtag.js) - Google Analytics