`
shenchunhui
  • 浏览: 147192 次
  • 来自: 杭州
社区版块
存档分类
最新评论

【HBase工具】查看解析HLog

阅读更多
查看解析HLog也是HBase本身自带的一个小工具

使用很简单:

$ ${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.regionserver.wal.HLog
Usage: HLog <ARGS>
Arguments:
--dump  Dump textual representation of passed one or more files
         For example: HLog --dump hdfs://example.com:9000/hbase/.logs/MACHINE/LOGFILE
--split Split the passed directory of WAL logs
         For example: HLog --split hdfs://example.com:9000/hbase/.logs/DIR

该工具目前就提供了2个功能
dump: 将HLog中的数据完全导出,会比原hlog文件大很多,导出速度比较慢,但是在需要定位数据正确性问题的时候,还是用得着的

split:和Master HLog-Split作用一样,会把一个目录下的hlog文件split成多个region的recovered.edits文件,并会将分割完的hlog文件归档到.oldlogs目录,所以用这个功能一定要谨慎,好像没啥场景需要用这个功能。。。

工作中用过该工具的场景:
1.数据出现不一致,客户端写入的数据不见啦。。。在早期的HBase版本中,这个问题在我们的测试中出现过多次,这种情况下,你就可以通过该工具来定位,丢失的数据发生在:
a.根本没写入hlog
b.split-log时
c.region replay log时
d.flush时
e.compaction时

a,b,c可以使用该工具来定位,d,e的话可以通过hfile解析工具,
master会定期清理oldlogs目录下的文件,在测试环境中,这个清理周期可以设置的长点
分享到:
评论

相关推荐

    hbase用于查询客户端工具

    6. **HBase Console**:这是HBase提供的一个简单的Web界面,用于查看表的信息、region分布和集群状态。它不支持复杂的查询,但对于快速检查和监控HBase实例非常有用。 7. **HBase MapReduce**:MapReduce是Hadoop...

    HBase的图形化管理工具/Hbase的GUI工具

    由于网上下的不支持最新的hadoop,hbase 版本自己稍微修改了下,支持最新版本HBase的图形化管理工具,目前修改改为hadoop-2.7.1版本,hbase-1.1.2版本,依赖可以自己切换,源代码已经包括再里边了,如想修改直接修改...

    hbase表操作工具类

    hbase表操作工具类.连接hbase数据库,根据rowkey删除单条记录,批量删除记录。获取某个字段的值,判断记录是否存在,向hbase表中插单条数据,批量插入到hbase表。 查询表,获取某个字段的值列表,hbase工具

    Hbase 可视化客户端工具(非phoenix连接)

    本文将详细介绍一个专为HBase设计的可视化客户端工具,该工具不依赖于Phoenix连接,而是直接与HBase服务器通信,支持Hbase 1.x版本,提供类似于PL/SQL的友好界面,使得数据管理和查询变得更加便捷。 首先,这个可视...

    squirrel可视化操作hbase工具

    这时,一款可视化的操作工具就显得尤为重要,Squirrel SQL客户端就是这样的一款利器,它能够帮助我们更直观地与HBase进行交互。 Squirrel SQL是一款开源的、跨平台的SQL客户端工具,支持多种数据库系统,包括HBase...

    【No0057】HBase源码解析与开发实战.txt

    ### HBase源码解析与开发实战 #### 一、HBase简介 HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable:一个结构化数据的分布式存储系统”。就像 Bigtable 利用了...

    基于springboot集成hbase过程解析

    "基于SpringBoot集成HBase过程解析" SpringBoot集成HBase是当前大数据处理和存储解决方案中的一种常见组合。HBase是基于Hadoop的分布式、可扩展的NoSQL数据库,能够存储大量的结构化和非结构化数据。SpringBoot则...

    hbase客户端连接工具winutils-2.2.0.zip

    在Java客户端上连接HBase集群时,需要配置一系列的环境和依赖,其中包括了`winutils`工具。`winutils-2.2.0.zip`这个压缩包就是针对Windows用户提供的,用于配置Hadoop环境,以便于与HBase交互。 首先,`winutils....

    支持最新版本HBase的图形化管理工具/Hbase的GUI工具

    综上所述,支持最新版本HBase的图形化管理工具是大数据运维中的重要辅助工具,它通过图形界面简化了HBase的操作,增强了用户体验,并且随着HBase的发展持续更新,以保证最佳的兼容性和功能性。对于需要管理和维护...

    hbase- java开发连接工具类

    除了`hbase-client.jar`,可能还包含其他相关的JAR包,如`hbase-common.jar`,它包含了HBase的通用工具和模块,`hbase-server.jar`包含RegionServer所需的服务端代码,以及`hbase-protocol.jar`包含客户端和服务器...

    hbase+ycsb工具

    Cloud Serving Benchmark)是Yahoo开发的一个基准测试工具,用于评估云存储系统(如HBase)的性能。它提供了多种工作负载模型,模拟了不同的数据库访问模式,帮助用户全面了解系统的性能表现。 `ycsb-hbase12-...

    HBase架构解析——维基百科[归纳].pdf

    《HBase架构解析——维基百科[归纳].pdf》这篇文档是关于Apache HBase的架构解析,主要介绍了HBase的基本概念、数据模型以及架构组成部分。HBase是一个开源项目,其目标是在Hadoop分布式计算环境中提供类似Google ...

    Hbase1.x可视化客户端工具

    这些工具通常包括但不限于创建、修改和删除表,查看和编辑行键、列族、时间戳等元数据,执行扫描操作以及实时监控HBase集群的状态。它们还可能具备导入导出数据、执行SQL-like查询、性能调优分析等功能,极大地提升...

    hbase备份和数据恢复

    总结,HBase备份和数据恢复涉及到多种策略和工具,包括快照、HLog备份和HDFS数据备份。而HBase与Hive的互导以及与HDFS的互导则为大数据分析提供了灵活的数据流转路径。理解和掌握这些知识点对于管理和优化大数据环境...

    nosql-实验三HBase管理工具和客户端.docx

    用户可以通过 HBase Web UI 查看配置信息、监控集群状态、管理表结构等。 启动 HBase Web UI 需要在浏览器中输入 http://localhost:60010,然后输入用户名和密码即可登录。 2. HBase Shell HBase Shell 是一个...

    HBASE架构和原理解析

    ### HBASE架构与原理详解 #### 一、HBASE简介 HBase是一个开源的、分布式的、基于列存储的非关系型数据库系统。它最初源自Google的BigTable论文,并构建在Hadoop之上,利用Hadoop分布式文件系统(HDFS)作为其底层...

    mysql导入hbase所需要的jar

    HBase的`lib`目录是为了确保HBase能识别并处理JSON数据,而Sqoop的`lib`目录是为了让Sqoop在执行导入操作时能够正确解析和转换JSON格式的输入数据。 在压缩包子文件列表中,除了`java-json.jar`外,还有`readme.txt...

Global site tag (gtag.js) - Google Analytics