配置管理--metaq

配置管理

Web管理平台

从1.4.5开始，MetaQ提供了一个Web管理平台，默认运行在8120端口，你可以通过浏览器访问http://localhost:8120来访问web管理平台，localhost为本机IP，可替换为broker运行机器所在ip或者hostname。

1.4.6版本开始，Web管理平台提供RESTFul API，具体见Dashboard API

脚本配置

MetaQ主要通过bin/env.sh或者bin/env.bat脚本来配置一些环境变量，如JVM启动参数等，详述如下。

JMX端口

首先，MetaQ服务端默认会暴露一个JMX端口，你可以通过API或者jconsole这样的工具链接上这个端口查看信息或者修改参数等，默认端口是export JMX_PORT=9123。如果你在同一台机器部署多个Broker，需要修改此参数，防止冲突。

设置JVM参数

首先是可配置JAVA_HOME:

#Config your java home
#JAVA_HOME=/opt/jdk/

默认我们通过which java获取java命令所在路径，但是如果你取消注释，配置了JAVA_HOME（或者你的环境变量设置了JAVA_HOME），我们都将优先使用$JAVA_HOME/bin/java命令。

服务器的默认JVM启动参数是：

BROKER_JVM_ARGS="-Xmx512m -Xms512m -server -Dmeta.home=$meta_home -cp $CLASSPATH "

你可以修改这个参数，比如增大Xmx堆空间，增加GC参数，一个示范性的配置：

BROKER_JVM_ARGS="-Xms4096m -Xmx4096m -Xmn512m -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:+CMSClassUnloadingEnabled -XX:CMSInitiatingOccupancyFraction=50 -XX:+CMSParallelRemarkEnabled -server -Dmeta.home=$meta_home -cp $CLASSPATH "

启用HTTP接口

MetaQ提供了一套HTTP接口，可以让客户端直接通过HTTP接口来发送或者消费消息，默认不启用。

启用HTTP接口，修改env.sh里的export enableHttp=true即可。

默认HTTP接口的端口是通过conf/jettyBroker.properties配置的：

serverPort=8080

你可以修改这个端口。

通过HTTP接口发送和消费消息，请看metamorphosis-http-client中的例子。

Broker参数配置

示例配置

完整的参数配置示例：

• sample.server.ini

服务端配置

Meta服务端配置主要在服务器conf目录下的server.ini文件，整体配置分为三部分：系统参数、zookeeper参数以及topic配置。系统参数在system section，zookeeper参数配置在zookeeper section，而topic的配置是在topic=xxxx section。具体说明如下：

一份默认提供的参数配置在这里。

系统参数部分

系统参数配置都放在[system]下面：

• brokerId: 服务器集群中唯一的id，必须为整型0-1024之间。对服务器集群的定义是使用同一个zookeeper并且在zookeeper上的root path相同，具体参见zookeeper配置。

• hostName: 服务器hostname，默认取本机IP地址，如果你是多网卡机器，可能需要明确指定。服务器会将此hostname加上端口写入到zookeeper提供给客户端发现。

• serverPort:服务器端口，默认8123。PS. 选择8123是因为这蕴含着我儿子的生日 :D。

• numPartitions:系统默认情况下每个topic的分区数目，默认为1，可被topic配置覆盖。单个服务器的总分区数目不建议超过1000，太多将导致频繁的磁盘寻道严重影响IO性能。

• dataPath: 服务器数据文件路径，默认在~home/meta下,每个topic可以覆盖此配置，对于多块磁盘的机器，可设置不同topic到不同磁盘来提升IO效率。

• dataLogPath：数据日志文件路径，主要存放事务日志，默认跟dataPath一致，最好单独设置到不同的磁盘或者目录上。如果为空，使用指定的dataPath

• getProcessThreadCount: 处理get请求的并发线程数，默认为CPUS*10。

• putProcessThreadCount: 处理put请求的并发线程数，默认为CPUS*10。

• maxSegmentSize: 单个数据文件的大小，默认为1G。默认无需修改此选项。

• maxTransferSize: 传输给消费者的最大数据大小，默认为1M，请根据你的最大消息大小酌情设置，如果太小，每次无法传输一个完整的消息给消费者，导致消费者消费停滞。可设置成一个大数来取消限制。

1.4.3版本引入的参数：

• acceptPublish: 是否接收消息，默认为true；如果为false，则不会注册发送信息到zookeeper上，客户端当然无法发送消息到该broker。本参数可以被后续的topic配置覆盖。

• acceptSubscribe: 与acceptPublish类似，默认也为true；如果为false，则不会注册消费信息到zookeeper上，消费者无法发现该broker，当然无法从该broker消费消息。本参数可以被后续的topic配置覆盖。

1.4.4版本新引入参数：

• stat：全局性地控制是否开启实时统计，可被topic配置覆盖，默认为false。
• loadMessageStoresInParallel: 是否启动时并行加载数据，开启可提升启动速度。默认不开启。开启后启动日志顺序可能紊乱。
• updateConsumerOffsets: 当消费者的offset不在Broker的数据范围内，是否强制更新消费者的offset为当前最大offset。默认为false。测试开发环境建议开启此选项，生产环境不建议。

数据可靠性参数

Meta保证消息可靠性是建立在磁盘可靠性的基础上，发送的每一条消息都保证是在“写入磁盘”的情况下才返回给客户端应答。这里有两个关键参数可以控制：

• unflushThreshold: 每隔多少条消息做一次磁盘sync，强制将更改的数据刷入磁盘。默认为1000。也就是说在掉电情况下，最多允许丢失1000条消息。可设置为0，强制每次写入都sync。在设置为0的情况下，服务器会自动启用group commit技术，将多个消息合并成一次sync来提升IO性能。经过测试，group commit情况下消息发送者的TPS没有受到太大影响，但是服务端的负载会上升很多。
• unflushInterval: 间隔多少毫秒定期做一次磁盘sync,默认是10秒。也就是说在服务器掉电情况下，最多丢失10秒内发送过来的消息。不可设置为小于或者等于0。

请注意，上述两个参数都可以被topic单独配置说覆盖，也就是说每个topic可以配置不同的数据可靠级别。

当某个topic开启group commit后，将为每个分区配置一个线程做聚集force，因此请控制启用group commit技术的topic数量，太多可能导致过多线程，反而效率下降。

数据删除策略配置

默认情况下，meta是会保存不断添加的消息，然后定期对“过期”的数据进行删除或者归档处理，这都是通过下列参数控制的：

• deleteWhen: 何时执行删除策略的cron表达式，默认是0 0 6,18 * * ?，也就是每天的早晚6点执行处理策略。
• deletePolicy: 数据删除策略，默认超过7天即删除,这里的168是小时，10s表示10秒，10m表示10分钟，10h表示10小时，不明确指定单位默认为小时。delete是指删除，超过指定时间的数据文件将被彻底从磁盘删除。也可以选择archive策略，即不对过期的数据文件做删除而是归档，当使用archive策略的时候可以选择是否压缩数据文件，如167,archive,true即选择将更改时间超过7天的数据文件归档并压缩为zip文件，如果不选择压缩，则重命名为扩展名为arc的文件。

上述两个参数都可以被topic单独配置所覆盖，也就是每个topic可以指定自己独特的删除策略。通常来说，对于不重要的topic可以将更早地将他们删除来节省磁盘空间。

事务相关配置

• maxCheckpoints: 最大保存事务checkpoint数目，默认为3，服务器在启动的时候会从最近一次checkpoint回访事务日志文件，恢复重启前的事务状态。不建议修改此参数。
• checkpointInterval：事务checkpoint时间间隔，单位毫秒，默认1小时。间隔时间太长，会导致启动的时候replay事务日志占用了太多时间，太短则可能影响到性能。
• maxTxTimeoutTimerCapacity：最大事务超时timer的数量。服务端会为每个事务启动一个定时器监控事务是否超时，定时器的数目上限通过本参数限制。限制了本参数，也变相地控制了最大可运行的事务数。默认为30000个。
• maxTxTimeoutInSeconds：最大事务超时时间，单位为秒，默认为60秒。客户端设置的事务超时时间不能超过此设定，超过将被强制限制为此设定。
• flushTxLogAtCommit：服务端对事务日志的sync策略，0表示让操作系统决定，1表示每次commit都刷盘，2表示每隔1秒刷盘一次。此参数严重影响事务性能，可根据你需要的性能和可靠性之间权衡做出一个合理的选择。通常建议设置为2，表示每隔1秒刷盘一次，也就是最多丢失一秒内的运行时事务。这样的可靠级别对大多数服务是足够的。最安全的当然是设置为1，但是将严重影响事务性能。而0的安全级别最低。安全级别上1>=2>0，而性能则是0 >= 2 > 1。

zookeeper配置

meta服务端会将自身id,topic信息和socket地址发送到zookeeper上，让客户端可以发现并连接服务器。Zookeeper相关的配置放在[zookeeper]模块下面:

• zk.zkEnable: 是否启用zookeeper，也就是是否将信息注册到zookeeper上。默认为true。对于同步复制的slave来说，本参数会被强制设置为false。
• zk.zkConnect: zookeeper服务器列表，例如localhost:1281这样的字符串。默认也是localhost:2181。请设置你的zk集群地址列表。
• zk.zkSessionTimeoutMs: zookeeper的session timeout，默认为30秒。单位毫秒。
• zk.zkConnectionTimeoutMs： zookeeper的连接超时时间，默认同样为30秒，单位毫秒。
• zk.zkSyncTimeMs: 预期的zk集群间数据同步延迟，默认为5秒，这个参数对服务器无意义。

Topic配置

服务器将提供哪些topic服务都是通过topic配置来实现的，topic配置都是在[topic=xxx]的模块下面，其中xxx就是topic名称，一个示范配置如下：

[topic=boyan-test]
stat=true
numPartitions=1

这里配置了一个名为test的topic，并针对该topic启用实时统计，并将topic的在本服务器的分区数目设置为1。可见，topic配置可覆盖服务器的部分配置，包括：

• stat:是否启用实时统计，启用则会在服务端对该topic的请求做实时统计，可以通过stats topic-name协议观察到该topic运行状况，可选。
• numPartitions: 该topic在本服务器的分区总数，覆盖系统配置，可选。
• unflushInterval：每隔多少条消息做一次磁盘sync，覆盖系统配置，可选。
• unflushThreshold：每隔多少秒做一次磁盘sync，覆盖系统配置，可选。
• deletePolicy：topic的删除策略，覆盖系统配置，可选。
• deleteWhen：删除策略的执行时间，覆盖系统配置，可选。
• dataPath：设置数据文件路径，覆盖系统配置，可选。

1.4.3新增参数：

• acceptPublish: 是否接收该topic的消息，覆盖系统配置，可选。
• acceptSubscribe: 是否接受消费者的订阅，覆盖系统配置，可选。

新增Topic热部署

在新增或者删除topic并保存server.ini之后，可以通过下列命令热加载新的配置文件并生效：

 bin/metaServer.sh reload

 

转自 metaq wiki