`
bupt04406
  • 浏览: 348388 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

HBase Log Split 配置相关

 
阅读更多

(1)HMaster SplitLogManager

    // get a list for previously failed RS which need log splitting work

    // we recover hbase:meta region servers inside master initialization and

    // handle other failed servers in SSH in order to start up master node ASAP

    Set<ServerName> previouslyFailedServers = this.fileSystemManager

        .getFailedServersFromLogFolders();

   LogSplit工作经由SSH(ServerShutdownHandler)触发,

   M_SERVER_SHUTDOWN         (70, ExecutorType.MASTER_SERVER_OPERATIONS)

   this.executorService.startExecutorService(ExecutorType.MASTER_SERVER_OPERATIONS,

      conf.getInt("hbase.master.executor.serverops.threads", 5));

   HMaster每次最多处理 hbase.master.executor.serverops.threads 这么多个SSH,如果启动时有大量的异常Server需要处理时,可以调大这个参数。

 

(2)HRegionServer  SplitLogWorker

    https://issues.apache.org/jira/browse/HBASE-9736

    this.maxConcurrentTasks =

        conf.getInt("hbase.regionserver.wal.max.splitters", DEFAULT_MAX_SPLITTERS);

   同时可以获取多个Task来处理。一个Task实际对应一个HLog文件。

 

分享到:
评论

相关推荐

    HBase配置

    对于安全环境,需要配置HBase的Kerberos认证,如`hbase.security.authentication`设为`kerberos`,并正确配置相关Keytab文件和principal。 总结来说,HBase的配置涉及多个层面,包括基础设置、性能优化、安全性...

    HBASE编程指南word版

    - **HLog (HBase Log)**: 记录每次修改操作的日志文件,保证数据的一致性。 - **后台进程**: 包括Compaction、Split等,用于优化存储结构、提升性能。 #### 四、客户端访问HBase - **本地Java客户端**: 提供了直接...

    大数据HBASE考题材料

    - 配置优化:调整HBase的相关参数以适应不同的工作负载。 - JVM优化:通过JVM参数调整来提高系统的整体性能。 8. **HBase框架中的概念** - HDFS:HBase依赖于HDFS来存储其底层数据。 - Zookeeper:用于集群...

    Hbase1.3.1源码

    在源码中,可以看到与Zookeeper交互的相关类,如`org.apache.hadoop.hbase.zookeeper`包下的类。 3. **Region Server和Master节点**:HBase架构中的两个核心组件。Region Server负责数据存储和处理,Master节点负责...

    HBase概述——HBase的存储模型.pdf

    《HBase概述——HBase的存储模型》这篇文章深入解析了HBase的核心存储机制,即LSM树(Log-Structured Merge Tree)。LSM树是一种优化的存储结构,它旨在解决大数据场景下的高性能写入和读取需求。在HBase中,LSM树的...

    Apache Hbase面试题

    - **WAL (Write Ahead Log)**:这是一种日志机制,在任何数据写入Store之前,都会先写入WAL,确保数据的一致性和高可用性。 **优点**: 1. **半结构化或非结构化数据支持**:HBase非常适合处理那些字段不确定或结构...

    HBase大数据技术原理与实践.pptx

    安装HBase时,需要配置Hadoop集群、ZooKeeper集群,确保系统时间同步,并调整Linux的最大文件句柄数。 HBase的系统架构包括HMaster、HRegionServer、HRegion、HStore和HLog等组件。HRegionServer是最核心部分,负责...

    HBase源码分析

    #### 一、HBase性能测试总结与环境配置 **测试环境:** - **硬件配置:** - 1台客户端机器 - 5台RegionServer服务器 - 1台Master服务器 - 3台Zookeeper服务器 - **软件配置:** - 每台RegionServer分配4GB的...

    Hbase性能测试详细设计文档及用例.pdf

    总的来说,HBase性能测试和调优是一个涉及多方面、多层次的过程,包括表设计、数据管理策略、Row Key设计以及HTable参数配置等。理解并灵活运用这些知识,能够有效地提升HBase在大规模数据处理中的性能表现。

    HBase在淘宝主搜索的Dump中的性能调优

    在HDFS上运行的RegionServer,其日志分割(split log)操作应得到适当控制,避免因过度分割导致Master频繁重新提交split任务,这不仅消耗额外的计算资源,还可能导致scan timeout异常。针对此问题,Apache JIRA上的...

    10大HBase常见运维工具整理小结

    9. **Log Analysis**:通过分析HBase的日志文件,可以获取集群运行状态的详细信息,对于问题排查至关重要。例如,regionserver日志、master日志和ZooKeeper日志等。 10. **HBase Profiler**:这是一个用于性能调优...

    行业分类-设备装置-基于HBase数据库对数据的写操作方法及装置.zip

    例如,合理设置MemStore大小、优化WAL策略、利用Region Split平衡负载、以及选择合适的批处理策略等,都是提高HBase写性能的关键。 综上所述,基于HBase的数据库对数据的写操作方法及其装置涉及到分布式系统设计、...

    search-log.rar

    2. **数据解析**:由于日志文件通常有固定的格式,我们需要通过`split()`函数或其他分隔符解析每一行,将原始字符串转换为有意义的列。 3. **数据清洗**:去除空值、异常值,处理缺失数据,确保数据质量。 4. **数据...

    HBase-Research:HBase数据库源代码学习研究(包括代码注释,文档,用于代码分析的测试用例)

    本资源"**HBase-Research**"提供了对HBase数据库源代码的深入学习材料,包括代码注释、相关文档以及用于代码分析的测试用例,这对于理解HBase的工作原理、优化其性能以及进行二次开发非常有帮助。 **HBase的基本...

    21春南开大学《大数据开发技术(一)》在线作业-1参考答案.docx

    18. **HDFS 缓解 EditLog 问题**:SecondaryNameNode 可解决 HDFS 中 EditLog 不断变大的问题,对应选项 B. SecondaryNameNode。 19. **批量数据处理和即席查询**:适合这类场景的数据库是 NoSQL 数据库,如 C. ...

Global site tag (gtag.js) - Google Analytics