`
wx1569578408
  • 浏览: 71596 次
最近访客 更多访客>>
文章分类
社区版块
存档分类
最新评论

Hbase 学习(六) 配置文件调优

 
阅读更多

这部分的内容,网上多了去了,都大同小异的,仅作为备忘录,省得需要的时候又要到处查。

1.zookeeper.session.timeout

默认3分钟,zookeeper和hbase通信的超时时间,设置为1分钟或者更少。

2.hbase.regionserver.handler.count

默认为10,很明显不够,在读多,写少的情况下设置为用户的最大数比较安全,但是在写操作比较多的情况下,可能会发生OutOfMemoryError的错误。

3.perf.hfile.block.cache.size

默认是0.2,内存大的可以建议增加。

4.hbase.hregion.memstore.block.multiplier

默认是2,建议增加,is a safety latch that blocks any further updates from clients when the memstores exceed the multiplier* flush size limit.

5.hbase.regionserver.maxlogs

默认是32,建议减少,这样就会强制region server提高把数据写入硬盘的频率,随后日志就会被删除了。

6.hbase.regionserver.global.memstore.upperLimit /hbase.regionserver.global.memstore.lowerLimit

这两个参数的默认值分别是0.4/0.35,它们是和hbase.hstore.blockingStoreFiles(默认7)相关联的,怎么调整需要看具体情况,书上没说,这点比较恶心。


转载于:https://my.oschina.net/u/923508/blog/413125

分享到:
评论

相关推荐

    HBase配置项说明及调优建议.zip

    在大数据存储领域,HBase作为一个分布式列式数据库,被广泛应用于处理海量结构化数据。...这份资料中的“HBase配置项说明及调优建议.xlsx”应该包含了详细的参数解释和实践案例,是学习和优化HBase不可或缺的参考资源。

    HBase配置文件与HBase doc文档

    ### HBase配置文件 HBase的配置文件通常位于`conf`目录下,主要包括以下几个关键文件: 1. **hbase-site.xml**:这是HBase的主要配置文件,包含了HBase集群的全局设置。例如,`hbase.rootdir`定义了HBase的数据...

    hbase安装与配置.docx

    2. **Zookeeper的配置**:修改 `conf/zoo.cfg` 文件,这是Zookeeper的主要配置文件。你需要配置数据存储路径(dataDir)、客户端连接端口(clientPort)以及集群模式下的服务器列表(server.1, server.2, ...)。在...

    hbase_常用配置参数_以及学习笔记讲解_以及各种原理图.zip

    在"04 - hbase常用配置参数.xml"文件中,列举了HBase的重要配置参数,如`hbase.rootdir`(HBase元数据的存储位置)、`hbase.cluster.distributed`(是否运行在分布式模式下)、`hbase.regionserver.handler.count`...

    hbase性能调优手册

    HBase的性能调优涉及到多个层面,包括前期的规划设计,安装配置,以及应用程序设计与开发等方面。本文主要介绍HBase性能调优的几种常用方法,重点在于理解性能优化背后的核心概念及其应用。 ### Rowkey设计 Rowkey...

    HBASE调优 rowkey

    服务器端调优同样重要,包括增加RegionServer处理请求的线程数(hbase.regionserver.handler.count),适当增加hfile.block.cache.size以提升读取缓存的性能,以及调整hbase.hregion.max.filesize来控制region文件的...

    Hbase学习分享

    HBase是一个开源的非关系型分布式数据库(NoSQL),建立在Hadoop文件系统(HDFS)之上,是Apache Hadoop生态系统中的一部分,主要用于处理海量结构化数据的存储和实时查询。HBase的特点是它可以存储庞大的数据集,...

    hadoop+hbase+zookeeper集群配置流程及文件

    提供的文档`hadoop_zookeeper_hbase集群配置.docx`应包含详细的步骤和配置示例,而`配置文件.rar`则可能包含了预设的配置模板,可以作为配置参考。在实际操作时,务必根据具体环境调整配置,确保所有节点之间的网络...

    hbase性能调优

    ### HBase性能调优策略详解 #### 一、服务端参数配置优化 针对HBase的服务端性能调优,可以通过合理调整一系列关键参数来提升系统的稳定性和效率。下面将详细介绍几个核心参数及其调优方法。 ##### 1. `hbase....

    Hadoop之HBase学习笔记

    【文件名称列表】"pom.xml"通常是一个Maven项目的配置文件,这表明博主可能提供了使用Maven构建HBase项目的示例,或者在学习过程中创建了一个简单的HBase客户端来演示数据操作。"src"目录通常包含项目的所有源代码,...

    hbase-apache离线官方文档

    - 在HBase配置中,各种配置文件发挥着关键作用。文档将说明如何正确填写和修改这些文件以实现对HBase行为的控制。 6. BasicPrerequisites(基本前提条件) - 在安装和运行HBase之前,用户需要确保系统满足一些...

    Hbase 安装与基本使用

    5. **修改配置文件**:编辑`hbase-site.xml`,配置HBase的主要参数,如`hbase.rootdir`(HBase的默认数据存储位置,通常在HDFS上)和`hbase.zookeeper.quorum`(ZooKeeper的服务器列表)。 **三、启动与停止HBase**...

    HBase性能调优

    本篇将深入探讨如何针对HBase进行性能调优,主要关注Zookeeper的session超时设置、RegionServer的请求处理线程数以及Region的最大文件大小。 首先,关于`Zookeeper.session.timeout`,这是RegionServer与Zookeeper...

    hbase性能调优[借鉴].pdf

    本文将围绕HBase中的几个关键配置项展开讨论,包括Zookeeper的session超时时间、RegionServer的请求处理线程数、Region的最大文件大小以及内存管理策略,以期提供对HBase性能优化的深入理解。 1. **Zookeeper....

    HBase学习资料.zip

    HBase是一种分布式的、面向列的开源...这些资源为学习和掌握HBase提供了全面的指导,从理论到实践,从基础到高级,帮助读者深入理解HBase在大数据环境中的作用和价值,以及如何有效地利用它来处理和分析大规模数据。

    hbase安装lzo压缩包的编译文件master

    5. **配置HBase**:在HBase的配置文件`hbase-site.xml`中,设置HBase的压缩算法为LZO,例如: ```xml <name>hbase.hregion.block Compression <value>lzo ``` 6. **测试与验证**:启动HBase集群,创建表并...

    HBase官方文档

    性能调优包括操作系统、网络、Java、HBase配置、ZooKeeper、Schema设计等方面的优化。优化HBase的性能是一个综合性的工程,需要从多个角度进行考量。 ### 故障排除和调试 这一部分提供了故障排除和调试HBase的一些...

Global site tag (gtag.js) - Google Analytics