`
punishzhou
  • 浏览: 142687 次
社区版块
存档分类
最新评论

Hbase的log管理(二)

阅读更多
1.在Hbase的log管理(一)中,描述了Hbase对于Hlog的更新和清理过程。其中提到会把已经写入磁盘的log文件move到.oldlog文件中,那么.oldlog中的文件又如何处理呢?
HMaster启动的时候会起一个守护线程LogCleaner,专门清理oldlog中的文件,频率是60s

2.数据以KeyValue形式到达HRegionServer,将写入WAL之后,写入一个SequenceFile。看过去没问题,但是因为数据流在写入文件系统时,经常会缓存以提高性能。这样,有些本以为在日志文件中的数据实际在内存中。这里,提供了一个LogFlusher的类。它调用HLog.optionalSync(),后者根“hbase.regionserver.optionallogflushinterval”(默认是10秒),定期调用Hlog.sync()。另外,HLog.doWrite()也会根据“hbase.regionserver.flushlogentries”(默认100秒)定期调用Hlog.sync()。Sync() 本身调用HLog.Writer.sync(),它由SequenceFileLogWriter实现。
分享到:
评论

相关推荐

    HBase开启审计日志

    #### 二、配置HBase审计日志 ##### 1. 配置`hbase-site.xml` 为了启用HBase的审计日志功能,首先需要在`hbase-site.xml`文件中添加必要的配置项。可以通过Cloudera Manager(CM)或其他管理工具搜索并编辑`hbase-...

    hbase+solr创建二级索引完整操作

    ### hbase+solr创建二级索引完整操作 #### 一、概述 本文档详细介绍了如何利用HBase和Solr创建二级索引的过程。通过整合HBase与Solr的优势,可以构建高性能的数据存储与检索系统。HBase作为分布式列族数据库,能够...

    log4j.properties配置详解 使用教程

    #### 二、获取log4j库 首先需要下载log4j库,推荐使用1.2.x版本,因为该版本稳定且广泛支持。可以在Apache官网下载页面找到合适的版本:[http://logging.apache.org/log4j/1.2/download.html]...

    HBASE具体操作指令

    HBase是一个基于Hadoop的分布式Nosql数据库,提供了多种操作指令来管理和维护数据库。下面将对HBase shell commands进行分类和详细解释。 一、General HBase shell commands 1. status:显示集群状态,支持三种...

    搭建HBase完全分布式数据库

    5. Hlog(WAL,Write-Ahead Log):HBase使用日志文件来保证数据的持久性和一致性,日志在发生故障时提供数据恢复的依据。 6. ZooKeeper:作为协调服务,负责管理ROOT表和META表,这些表存储了HBase中表的元数据...

    hbase2.5.6最新版本下载

    二、HBase核心组件 1. ZooKeeper:HBase依赖ZooKeeper进行元数据管理,协调各个节点间的通信,确保系统的高可用性和一致性。 2. Master节点:负责全局的表管理和Region分配。 3. Region Server:实际存储数据的...

    一个Log4j配置文件,感觉还不错

    《深入理解Log4j配置文件》 在Java开发中,日志记录是不可或缺的一部分,而Log4j作为一款广泛使用的日志框架,以其强大的...理解并熟练掌握配置文件的各个元素,将使你能够更有效地管理和利用日志信息,提升开发效率。

    eclipse链接hbase所需jar包,hbase版本1.2.6,Hadoop版本2.7.1

    在开发HBase应用程序时,Eclipse作为Java IDE是常见的选择,因为它提供了强大的代码编辑、调试和项目管理功能。为了在Eclipse中成功连接并操作HBase数据库,你需要正确的依赖库,也就是jar包。HBase 1.2.6版本与...

    hbase-0.94.13 jar和源码

    首先,`hbase-0.94.13.jar`是HBase的二进制库文件,包含了编译好的Java类,可以直接在运行环境中使用。这个jar包是运行HBase服务和编写HBase应用的基础,它提供了所有必要的API和实现,使得开发者能够与HBase集群...

    【HBase企业应用开发】工作中自己总结的Hbase文档,非常全面!

    配置解释部分涉及对Linux系统参数、JVM配置、HBase运行参数的修改以及HBase中log4j日志的配置。 HBaseshell的基本用法包括创建表和列族、插入数据、按设计的表结构插入值、根据键值查询数据、扫描所有数据、删除...

    HBASE编程指南word版

    - **HLog (HBase Log)**: 记录每次修改操作的日志文件,保证数据的一致性。 - **后台进程**: 包括Compaction、Split等,用于优化存储结构、提升性能。 #### 四、客户端访问HBase - **本地Java客户端**: 提供了直接...

    hbase-1.1.5-bin.tar

    这个压缩包包含了运行和管理HBase所需的所有二进制文件、配置文件、文档以及库。 在安装和使用HBase 1.1.5之前,我们需要了解以下几个关键知识点: 1. **Hadoop依赖**:HBase构建于Hadoop之上,因此在安装HBase前...

    java访问hbase所需的jar包

    其次,`hbase-common.jar`包含了HBase通用的功能,如数据序列化、元数据管理等。`hbase-protocol.jar`包含了HBase通信协议的定义,用于客户端与服务器之间的消息交换。 `hbase-server.jar`是HBase服务器端的组件,...

    大数据HBASE考题材料

    - HLog:HBase通过维护WAL(Write Ahead Log)来防止MemStore中的数据丢失,确保即使在系统崩溃的情况下也能恢复数据。 10. **HBase的主要操作** - Get:获取特定rowkey的数据。 - Put:插入或更新数据。 - ...

    hbase安装文档

    这里HBASE_MANAGES_ZK设为false,意味着HBase不管理ZooKeeper,而是使用已安装的ZooKeeper集群。 五、配置HBase站点 编辑$HBASE_HOME/conf/hbase-site.xml文件,配置如下关键属性: ```xml <name>hbase....

    hbase入门和使用

    - Master:负责Region的分配和管理工作,也负责维护整个HBase集群的状态。 - HDFS:负责HBase的数据存储和备份,保证数据的持久性和可靠性。 - Zookeeper:是一个分布式的协调服务,用于监控RegionServer的上下线,...

    HBase入门与使用

    2. **Region管理**:HBase将表划分为多个Region,每个Region包含一定范围的行键,这有助于数据的分布和并行处理。 3. **RegionServer与Master**:RegionServer负责读写操作,而Master负责Region的分配和负载均衡,...

    Hbase 高可用分布式搭建

    4. 数据复制:开启HBase的多版本特性,可以设置WAL(Write-Ahead Log)和HLog的复制,增强数据安全性。 五、HBase分布式搭建步骤 1. 安装Java环境:HBase依赖Java运行,确保所有节点安装JDK。 2. 安装Hadoop:按照...

    HBASE基础应用的介绍

    #### 二、HBase应用场景 HBase因其独特的设计特点,在多种场景下得到了广泛的应用: 1. **典型互联网搜索问题**:HBase能够快速检索大量数据,适用于搜索引擎中的索引查询等功能。 2. **捕获增量数据**:例如...

    深入学习hbase原理资料整理

    在HBase的架构中,HLog(Write-Ahead Log)扮演着至关重要的角色。HLog是一个持久化的日志,用于确保数据的一致性和可靠性。当客户端向RegionServer提交更新操作时,HLog会记录这些操作,确保即使在RegionServer故障...

Global site tag (gtag.js) - Google Analytics