hbase.tmp.dir:本地文件系统的临时目录,默认是java.io.tmpdir/hbase−{user.name};
hbase.rootdir:hbase持久化的目录,被所有regionserver共享,默认${hbase.tmp.dir}/hbase,一般设置为hdfs://namenode.example.org:9000/hbase类似,带全限定名;
hbase.cluster.distributed:hbase集群模式运作与否的标志,默认是false,开启需要设置为true,false时启动hbase会在一个jvm中运行hbase和zk;
hbase.zookeeper.quorum:重要的也是必须设置的,启动zk的服务器列表,逗号分隔,cluster模式下必须设置,默认是localhost,hbase客户端也需要设置这个值去访问zk;
hbase.local.dir:本地文件系统被用在本地存储的目录,默认${hbase.tmp.dir}/local/;
hbase.master.port:hbase master绑定的端口,默认是60000;
hbase.master.info.port:hbase master web 界面的端口,默认是60010,设置为-1可以禁用ui;
hbase.master.info.bindAddress:master web界面的绑定地址,默认是0.0.0.0;
hbase.master.logcleaner.plugins:清理日志的插件列表,逗号分隔,被LogService调用的LogCleanerDelegate,可以自定义,顺序执行,清理WAL和HLog;默认org.apache.hadoop.hbase.master.cleaner.TimeToLiveLogCleaner
hbase.master.logcleaner.ttl:HLog在.oldlogdir目录中生存的最长时间,过期则被Master起线程回收,默认是600000;
hbase.master.hfilecleaner.plugins:HFile的清理插件列表,逗号分隔,被HFileService调用,可以自定义,默认org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner
hbase.master.catalog.timeout:Catalog Janitor从master到META的超时时间,我们知道这个Janitor是定时的去META扫描表目录,来决定回收无用的regions,默认是600000;
fail.fast.expired.active.master:如果master过期,那么不需要从zk恢复,直接终止,默认是false;
hbase.master.dns.interface:master的dns接口,向该接口提供ip,默认是default;
hbase.master.dns.nameserver:master使用的dns主机名或者ip,默认是default;
hbase.regionserver.port:regionserver绑定的端口,默认是60020;
hbase.regionserver.info.port:regionserver的web界面端口,-1取消界面,默认是60030;
hbase.regionserver.info.bindAddress:regionserver的web绑定,默认是0.0.0.0;
hbase.regionserver.info.port.auto:master或者regionserver是否自动搜索绑定的端口,默认是false;
hbase.regionserver.handler.count:regionserver上rpc listener的个数,http://kenwublog.com/hbase-performance-tuning把这个配置称为io线程数,其实雷同,就是说在regionserver上一个处理rpc的handler,默认是30;
hbase.regionserver.msginterval:regionserver向master发消息的间隔,默认3000毫秒;
hbase.regionserver.optionallogflushinterval:如果没有足够的entry触发同步,那么过了这个间隔后HLog将被同步到HDFS,默认是1000毫秒;
hbase.regionserver.regionSplitLimit:regionsplit的最大限额,默认是MAX_INT=2147483647,设置这个限制后,在到达限制时region split就不会再进行;
hbase.regionserver.logroll.period:不管有多少版本,直接roll掉commit log的周期,也就是说一个固定的时间周期,到期就roll,默认是3600000毫秒;
hbase.regionserver.logroll.errors.tolerated:可接受的WAL关闭错误个数,到达后将触发服务器终止;设置为0那么在WAL writer做log rolling失败时就停止region server,默认是2;
hbase.regionserver.hlog.reader.impl:HLog 文件reader的实现类,默认是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogReader;
hbase.regionserver.hlog.writer.impl:HLog 文件writer的实现类,默认是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogWriter;
hbase.regionserver.global.memstore.upperLimit:memstore在regionserver内存中的上限,届时新的update被阻塞并且flush被强制写,默认是0.4就是堆内存的40%;阻塞状态持续到regionserver的所有memstore的容量到达hbase.regionserver.global.memstore.lowerLimit;
hbase.regionserver.global.memstore.lowerLimit:memstore在regionserver内存中的最大上限,到达时flush就被强制写,默认是0.38等价于38%的内存容量;
hbase.regionserver.optionalcacheflushinterval:一个edit版本在内存中的cache时长,默认3600000毫秒,设置为0的话则禁止自动flush;
hbase.regionserver.catalog.timeout:regionserver的Catalog Janitor访问META的超时时间,默认是600000;
hbase.regionserver.dns.interface:同master类似~~不讲
hbase.regionserver.dns.nameserver:同master类似
zookeeper.session.timeout:这是个值得说道一下的配置,首先ZK客户端要用,Hbase使用zk的客户端联系总体,同时也被用来启动一个zk server,作为zk的maxSessionTimeout,总的来说就是regionserver与zk的关键参数,如果连接超时,master会重新的balance,regionserver也会被从集群名单中清除,默认是90000;一个问题是如果zk 由hbase自己维护,那么该参数作为regionserver连接是一个值,如果zk在另外的集群,那么zk自己的maxSessionTimeout参数将优先于Hbase的该参数,届时可能会发生超时时间不同的问题;
zookeeper.znode.parent:znode存放root region的地址,默认是root-region-server;
zookeeper.znode.acl.parent:root znode的acl,默认acl;
hbase.zookeeper.dns.interface:zk的dns接口,默认default;
hbase.zookeeper.dns.nameserver:zk的dns服务地址,默认default;
hbase.zookeeper.peerport:zk的peer之间的通讯端口,默认是2888;
hbase.zookeeper.leaderport:zk选leader的通讯端口,默认是3888;
hbase.zookeeper.useMulti:zk支持多重update,要求zk在3.4版本以上,默认是false;
hbase.config.read.zookeeper.config:让hbaseconfig去读zk的config,默认false,也不支持开启,这个功能很搞笑~~个人观点;
hbase.zookeeper.property.initLimit:zk的配置,同步的属性个数限制,默认10个~~没用;
hbase.zookeeper.property.syncLimit:zk的配置,同步时的每次请求的条数,默认5个;
hbase.zookeeper.property.dataDir:zk的配置,snapshot存放的目录,默认是${hbase.tmp.dir}/zookeeper;
hbase.zookeeper.property.clientPort:zk的配置,client连zk的端口,默认2181;
hbase.zookeeper.property.maxClientCnxns:zk的配置,允许接入zk的最大并发连接数的限制,按ip分配,默认300;
分享到:
相关推荐
这份“HBase配置项说明及调优建议”资料,旨在帮助用户理解HBase的核心配置参数,并提供实用的优化策略。 首先,我们要了解HBase的几个关键配置类别: 1. **Master节点配置**:Master节点负责管理表和Region的分配...
编辑 `/usr/local/hbase/conf/hbase-env.sh` 文件,根据实际安装位置修改以下几项: ```bash # 注释掉以下两行,因为它们只适用于 JDK7 # export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:...
hbase 常用参数含义,默认值,调优建议(必须参数,split,compaction,blockcache,memstore flush,hlog,zookeeper,其他,等相参数名称、含义、默认值、调优建议)
此外,还有许多其他的配置项,如`hbase.hregion.split.policy`(分裂策略)、`hbase.hregion.max.filesize`(Region大小限制)和`hbase.bulk.load.enabled`(批量加载功能),都需要根据实际业务需求进行调整。...
例如,在 hbase-site.xml 文件中增加以下配置项: ```xml <name>hbase.security.authentication <value>simple <name>hbase.security.authorization <value>true <name>hbase.coprocessor.master.classes...
在Linux环境下,构建基于Hadoop集群的Zookeeper和Hbase安装及配置是一项关键任务,因为这两个组件在大数据处理中扮演着重要角色。Hadoop生态系统中的HBase是一个分布式数据库,它建立在Hadoop集群的HDFS(Hadoop ...
为了启用HBase的审计日志功能,首先需要在`hbase-site.xml`文件中添加必要的配置项。可以通过Cloudera Manager(CM)或其他管理工具搜索并编辑`hbase-site.xml`文件,或者直接修改服务范围内的高级配置代码段中的HBase...
这些配置项分别指定了HBase的Root目录、分布式模式、Master节点的地址、ZooKeeper的集群地址和临时目录。 二、分布式环境下配置 1. 修改hbase-env.sh配置文件 在分布式环境下配置HBase,需要在/hbase/conf/hbase-...
在Ubuntu系统上安装配置HBase是一项重要的任务,尤其对于那些需要处理大规模数据的项目而言。HBase是一个分布式的、面向列的开源数据库,它构建于Hadoop之上,提供了实时读写和强一致性。以下是在Ubuntu上安装和配置...
3. **修改配置**:根据实际需求调整 `hbase-site.xml` 和 `hadoop-site.xml` 中的相关配置项。 #### 完全分布式模式 1. **概述**:完全分布式模式是最接近生产环境的部署方式,支持多台机器上的集群部署。此模式下...
2. 在conf/hbase-env.sh文件中添加配置项,例如export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.6.0_18。 四、配置HBase 1. 新建hbase-site.xml文件,内容如下: ``` <name>hbase.rootdir <value>file:///...
知识点1:HBase的特点 HBase是一种基于Hadoop的分布式、可扩展的NoSQL数据库,具有以下特点: * 高性能:HBase可以处理大量的数据读写操作,具有高性能和高吞吐量。 * 可扩展性:HBase可以水平扩展,增加节点数以...
总之,配置和安装Hadoop HBase以及集成Snappy是一项复杂但必要的任务,它直接影响到大数据系统的性能和效率。理解每个组件的工作原理,以及如何进行有效配置,对于提升整个系统的运行效率至关重要。通过实践和不断...
本文将探讨一种新的方法——基于机器学习的HBase配置参数优化研究,其主要目的就是解决这一难题。 在引入机器学习技术之前,传统的优化方法主要依靠人工经验来调整HBase配置。然而,随着数据量的激增以及应用场景的...
`hbase.zookeeper.quorum`配置项指定了ZooKeeper集群的服务器列表,而`hbase.zookeeper.property.dataDir`则设置了ZooKeeper的数据存储路径。 在上述部署步骤中,注意HBase的配置文件`hbase-env.sh`用于设置Java...
HBase的配置章节涉及了基础条件、运行模式、配置文件、配置示例以及一些重要的配置项。HBase可以通过修改配置文件来自定义安装和运行的细节,比如集群是独立模式还是分布式模式,以及如何设置region的拆分参数等。 ...
在分布式计算领域,Hadoop是不可或缺的关键组件,它提供了可靠的数据存储和大规模并行处理能力。Hadoop 2.6.0版本引入了高可用性(HA)特性,...记住,配置过程中的每个细节都至关重要,务必确保每个配置项正确无误。
4. **配置HBase**:编辑`$HBASE_HOME/conf/hbase-site.xml`,设置必要的配置项,如数据存储目录: ```xml <name>hbase.rootdir <value>hdfs://namenode-host:port/hbase ``` 还需要配置HDFS地址,如果...
1. Java运行环境:HBase依赖于Java,所以首先需要在服务器上安装JDK,并配置好`JAVA_HOME`环境变量。 2. Hadoop环境:HBase运行在HDFS之上,所以你需要先安装并配置好Hadoop集群,包括HDFS、YARN等组件。 3. ...
- hbase.unsafe.stream.capability.enforce:此配置项设置为false,以允许HBase使用老版本的序列化方式。 3. 启动和故障排查: - 在完成HBase的安装和配置后,可以通过hbase shell命令来启动HBase shell,进行...