看到不少的说明都说这个参数的默认值为256M 也就是当HStoreFile 大于这个文件时,就会split 成两个文件,这个从源码中能看到如下的内容
conf.getLong("hbase.hregion.max.filesize",HConstants.DEFAULT_MAX_FILE_SIZE);
而HConstants.DEFAULT_MAX_FILE_SIZE 正是 256*1024*1024 那显然这个就是默认256M了 没有设置的时候自动取用256M
其实不然,因为我们从Hbase-default.xml去看看这个属性
<property>
<name>hbase.hregion.max.filesize</name>
<value>1073741824</value>
<description>
Maximum HStoreFile size. If any one of a column families' HStoreFiles has
grown to exceed this value, the hosting HRegion is split in two.
Default: 1G.
</description>
</property>
我们可以看到 此地默认是1G 也就是说 超过1G才会去做split 操作, 那具体是哪一个呢,因为家在配置文件的过程是
1、Hbase-default.xml
2、Hbase-site.xml
按照上面的顺序加载,所以这个地方hbase.hregion.max.filesize 并非没有设置,而去取用配置文件的默认值,你如果有值的话自然不取用HConstants.DEFAULT_MAX_FILE_SIZE的值了
结论:所以我认为hbase.hregion.max.filesize 这个参数的默认值应该是 1G也记是1024M
我自己的理解,欢迎大家拍板砖。
分享到:
相关推荐
5. `hbase.hregion.max.filesize`: 单个HRegion的最大大小,超过后会分裂成两个HRegion。 6. `hbase.hregion.memstore.flush.size`: 内存存储单元(MemStore)的刷新阈值,达到该值时会触发数据写入磁盘。 7. `hbase...
`hbase.hregion.max.filesize` - **含义**:定义了每个Region的最大文件大小。 - **默认值**:10GB(0.94.12版本)。 - **推荐值**:根据集群总体数据量及业务需求调整。 - **应用场景**: - 如果总体数据量较小...
在HBase性能优化中,有两个关键的配置参数需要关注:`hbase.hregion.max.filesize`和`autoflush`设置。这些参数对HBase的写入性能、数据一致性和系统稳定性有显著影响。 1. `hbase.hregion.max.filesize`的设定: ...
`hbase.hregion.max.filesize`参数定义了单个region的最大大小,超过这个值,region会自动分裂。默认值是256MB。小region有利于快速的split和compaction,但过于频繁的操作可能影响性能和稳定性。大region则可能导致...
例如,为了提高HBase的性能,可能需要调整`hbase.hregion.max.filesize`来控制Region的大小,或者通过`hbase.hstore.blockingStoreFiles`防止过多的StoreFile导致RegionServer过载。此外,`hbase.zookeeper.property...
此外,hbase.hregion.max.filesize 是另一个重要的配置项,默认值为 256M。这个参数决定了单个 Region 的大小,当 Region 的大小超过这个值时,Region 会被自动 split 成更小的 Region。调整这个参数需要考虑到 ...
* hbase.hregion.max.filesize:在当前 RegionServer 上单个 Region 的最大存储空间,默认值为 256M,可以根据实际情况调整,以控制 Region 的大小。 * hfile.block.cache.size:storefile 的读缓存占用内存的大小...
3. **hbase.hregion.max.filesize配置** 默认值为256MB,表示单个Region的最大文件大小。小region利于split和compaction,但频繁的操作可能影响系统稳定性。大region则可减少split和compaction的频率,提供更稳定的...
- **单个Region的最大存储空间** (`hbase.hregion.max.filesize`): 默认为256MB。小的Region有利于快速split和compaction,但过多的Region会增加管理难度并可能导致性能波动;大的Region虽然减少了split和compaction...
同时,通过设置合理的最大文件大小(MAX_FILESIZE),可以控制单个Region的大小,避免无限制的Region分裂,进一步提升系统性能。 Batch处理方式的引入,能够显著提升数据批量读写的效率。相比于传统的逐条处理方式...