`
usezhou
  • 浏览: 12853 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

hbase.hregion.max.filesize 默认值 到底是多少

 
阅读更多

看到不少的说明都说这个参数的默认值为256M 也就是当HStoreFile 大于这个文件时,就会split 成两个文件,这个从源码中能看到如下的内容

conf.getLong("hbase.hregion.max.filesize",HConstants.DEFAULT_MAX_FILE_SIZE);

而HConstants.DEFAULT_MAX_FILE_SIZE 正是 256*1024*1024 那显然这个就是默认256M了 没有设置的时候自动取用256M

其实不然,因为我们从Hbase-default.xml去看看这个属性

<property>
<name>hbase.hregion.max.filesize</name>
<value>1073741824</value>
<description>
Maximum HStoreFile size. If any one of a column families' HStoreFiles has
grown to exceed this value, the hosting HRegion is split in two.
Default: 1G.
</description>
</property>

我们可以看到 此地默认是1G 也就是说 超过1G才会去做split 操作, 那具体是哪一个呢,因为家在配置文件的过程是

1、Hbase-default.xml

2、Hbase-site.xml

按照上面的顺序加载,所以这个地方hbase.hregion.max.filesize 并非没有设置,而去取用配置文件的默认值,你如果有值的话自然不取用HConstants.DEFAULT_MAX_FILE_SIZE的值了

结论:所以我认为hbase.hregion.max.filesize 这个参数的默认值应该是 1G也记是1024M

我自己的理解,欢迎大家拍板砖。

分享到:
评论

相关推荐

    HBase参数修改 PDF 下载

    5. `hbase.hregion.max.filesize`: 单个HRegion的最大大小,超过后会分裂成两个HRegion。 6. `hbase.hregion.memstore.flush.size`: 内存存储单元(MemStore)的刷新阈值,达到该值时会触发数据写入磁盘。 7. `hbase...

    hbase性能调优

    `hbase.hregion.max.filesize` - **含义**:定义了每个Region的最大文件大小。 - **默认值**:10GB(0.94.12版本)。 - **推荐值**:根据集群总体数据量及业务需求调整。 - **应用场景**: - 如果总体数据量较小...

    hbase性能优化.pdf

    在HBase性能优化中,有两个关键的配置参数需要关注:`hbase.hregion.max.filesize`和`autoflush`设置。这些参数对HBase的写入性能、数据一致性和系统稳定性有显著影响。 1. `hbase.hregion.max.filesize`的设定: ...

    关于hbase性能调优文档.docx

    `hbase.hregion.max.filesize`参数定义了单个region的最大大小,超过这个值,region会自动分裂。默认值是256MB。小region有利于快速的split和compaction,但过于频繁的操作可能影响性能和稳定性。大region则可能导致...

    HBase配置文件

    例如,为了提高HBase的性能,可能需要调整`hbase.hregion.max.filesize`来控制Region的大小,或者通过`hbase.hstore.blockingStoreFiles`防止过多的StoreFile导致RegionServer过载。此外,`hbase.zookeeper.property...

    hbase性能调优.pdf

    此外,hbase.hregion.max.filesize 是另一个重要的配置项,默认值为 256M。这个参数决定了单个 Region 的大小,当 Region 的大小超过这个值时,Region 会被自动 split 成更小的 Region。调整这个参数需要考虑到 ...

    hbase优化总结

    * hbase.hregion.max.filesize:在当前 RegionServer 上单个 Region 的最大存储空间,默认值为 256M,可以根据实际情况调整,以控制 Region 的大小。 * hfile.block.cache.size:storefile 的读缓存占用内存的大小...

    hbase性能调优[借鉴].pdf

    3. **hbase.hregion.max.filesize配置** 默认值为256MB,表示单个Region的最大文件大小。小region利于split和compaction,但频繁的操作可能影响系统稳定性。大region则可减少split和compaction的频率,提供更稳定的...

    Hadoop 集群(第 12 期副刊)-HBase性能优化.pdf

    - **单个Region的最大存储空间** (`hbase.hregion.max.filesize`): 默认为256MB。小的Region有利于快速split和compaction,但过多的Region会增加管理难度并可能导致性能波动;大的Region虽然减少了split和compaction...

    HBase在淘宝主搜索的Dump中的性能调优

    同时,通过设置合理的最大文件大小(MAX_FILESIZE),可以控制单个Region的大小,避免无限制的Region分裂,进一步提升系统性能。 Batch处理方式的引入,能够显著提升数据批量读写的效率。相比于传统的逐条处理方式...

Global site tag (gtag.js) - Google Analytics