这部分的内容,网上多了去了,都大同小异的,仅作为备忘录,省得需要的时候又要到处查。
1.zookeeper.session.timeout
默认3分钟,zookeeper和hbase通信的超时时间,设置为1分钟或者更少。
2.hbase.regionserver.handler.count
默认为10,很明显不够,在读多,写少的情况下设置为用户的最大数比较安全,但是在写操作比较多的情况下,可能会发生OutOfMemoryError的错误。
3.perf.hfile.block.cache.size
默认是0.2,内存大的可以建议增加。
4.hbase.hregion.memstore.block.multiplier
默认是2,建议增加,is a safety latch that blocks any further updates from clients when the memstores exceed the multiplier* flush size limit.。
5.hbase.regionserver.maxlogs
默认是32,建议减少,这样就会强制region server提高把数据写入硬盘的频率,随后日志就会被删除了。
6.hbase.regionserver.global.memstore.upperLimit /hbase.regionserver.global.memstore.lowerLimit
这两个参数的默认值分别是0.4/0.35,它们是和hbase.hstore.blockingStoreFiles(默认7)相关联的,怎么调整需要看具体情况,书上没说,这点比较恶心。
转载于:https://my.oschina.net/u/923508/blog/413125
分享到:
相关推荐
在大数据存储领域,HBase作为一个分布式列式数据库,被广泛应用于处理海量结构化数据。...这份资料中的“HBase配置项说明及调优建议.xlsx”应该包含了详细的参数解释和实践案例,是学习和优化HBase不可或缺的参考资源。
### HBase配置文件 HBase的配置文件通常位于`conf`目录下,主要包括以下几个关键文件: 1. **hbase-site.xml**:这是HBase的主要配置文件,包含了HBase集群的全局设置。例如,`hbase.rootdir`定义了HBase的数据...
2. **Zookeeper的配置**:修改 `conf/zoo.cfg` 文件,这是Zookeeper的主要配置文件。你需要配置数据存储路径(dataDir)、客户端连接端口(clientPort)以及集群模式下的服务器列表(server.1, server.2, ...)。在...
在"04 - hbase常用配置参数.xml"文件中,列举了HBase的重要配置参数,如`hbase.rootdir`(HBase元数据的存储位置)、`hbase.cluster.distributed`(是否运行在分布式模式下)、`hbase.regionserver.handler.count`...
HBase的性能调优涉及到多个层面,包括前期的规划设计,安装配置,以及应用程序设计与开发等方面。本文主要介绍HBase性能调优的几种常用方法,重点在于理解性能优化背后的核心概念及其应用。 ### Rowkey设计 Rowkey...
服务器端调优同样重要,包括增加RegionServer处理请求的线程数(hbase.regionserver.handler.count),适当增加hfile.block.cache.size以提升读取缓存的性能,以及调整hbase.hregion.max.filesize来控制region文件的...
HBase是一个开源的非关系型分布式数据库(NoSQL),建立在Hadoop文件系统(HDFS)之上,是Apache Hadoop生态系统中的一部分,主要用于处理海量结构化数据的存储和实时查询。HBase的特点是它可以存储庞大的数据集,...
提供的文档`hadoop_zookeeper_hbase集群配置.docx`应包含详细的步骤和配置示例,而`配置文件.rar`则可能包含了预设的配置模板,可以作为配置参考。在实际操作时,务必根据具体环境调整配置,确保所有节点之间的网络...
### HBase性能调优策略详解 #### 一、服务端参数配置优化 针对HBase的服务端性能调优,可以通过合理调整一系列关键参数来提升系统的稳定性和效率。下面将详细介绍几个核心参数及其调优方法。 ##### 1. `hbase....
【文件名称列表】"pom.xml"通常是一个Maven项目的配置文件,这表明博主可能提供了使用Maven构建HBase项目的示例,或者在学习过程中创建了一个简单的HBase客户端来演示数据操作。"src"目录通常包含项目的所有源代码,...
- 在HBase配置中,各种配置文件发挥着关键作用。文档将说明如何正确填写和修改这些文件以实现对HBase行为的控制。 6. BasicPrerequisites(基本前提条件) - 在安装和运行HBase之前,用户需要确保系统满足一些...
5. **修改配置文件**:编辑`hbase-site.xml`,配置HBase的主要参数,如`hbase.rootdir`(HBase的默认数据存储位置,通常在HDFS上)和`hbase.zookeeper.quorum`(ZooKeeper的服务器列表)。 **三、启动与停止HBase**...
本篇将深入探讨如何针对HBase进行性能调优,主要关注Zookeeper的session超时设置、RegionServer的请求处理线程数以及Region的最大文件大小。 首先,关于`Zookeeper.session.timeout`,这是RegionServer与Zookeeper...
本文将围绕HBase中的几个关键配置项展开讨论,包括Zookeeper的session超时时间、RegionServer的请求处理线程数、Region的最大文件大小以及内存管理策略,以期提供对HBase性能优化的深入理解。 1. **Zookeeper....
HBase是一种分布式的、面向列的开源...这些资源为学习和掌握HBase提供了全面的指导,从理论到实践,从基础到高级,帮助读者深入理解HBase在大数据环境中的作用和价值,以及如何有效地利用它来处理和分析大规模数据。
5. **配置HBase**:在HBase的配置文件`hbase-site.xml`中,设置HBase的压缩算法为LZO,例如: ```xml <name>hbase.hregion.block Compression <value>lzo ``` 6. **测试与验证**:启动HBase集群,创建表并...
性能调优包括操作系统、网络、Java、HBase配置、ZooKeeper、Schema设计等方面的优化。优化HBase的性能是一个综合性的工程,需要从多个角度进行考量。 ### 故障排除和调试 这一部分提供了故障排除和调试HBase的一些...