Kafka学习之监控

参考文档：https://kafka.apache.org/documentation.html#monitoring

 

Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来，比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters中提到的ganglia和Graphite等。默认使用的是JMX，最简单的观察方式是使用jconsole连接你的server或者client，就可以看到所有可用的metric。我自己是使用Zabbix跟JMX对接，监测一些metric，并进行报警，以下metric是值得关注的：

 

描述：所有的topic的消息速率(消息数/秒)

Mbean名："kafka.server":name="AllTopicsMessagesInPerSec",type="BrokerTopicMetrics"

正常的值：

 

描述：所有的topic的流入数据速率(字节/秒)

Mbean名："kafka.server":name="AllTopicsBytesInPerSec",type="BrokerTopicMetrics"

正常的值：

 

描述：producer或Fetch-consumer或Fetch-follower的请求速率(请求次数/秒)

Mbean名："kafka.network":name="{Produce|Fetch-consumer|Fetch-follower}-RequestsPerSec",type="RequestMetrics"

正常的值：

 

描述：所有的topic的流出数据速率(字节/秒)

Mbean名： "kafka.server":name="AllTopicsBytesOutPerSec",type="BrokerTopicMetrics"

正常的值：

 

描述：刷日志的速率和耗时

Mbean名： "kafka.log":name="LogFlushRateAndTimeMs",type="LogFlushStats"

正常的值：

 

描述：正在做复制的partition的数量(|ISR| < |all replicas|)

Mbean名："kafka.server":name="UnderReplicatedPartitions",type="ReplicaManager"

正常的值：0

 

描述：当前的broker是否为controller

Mbean名："kafka.controller":name="ActiveControllerCount",type="KafkaController"

正常的值：在集群中只有一个broker的这个值为1

 

描述：选举leader的速率

Mbean名："kafka.controller":name="LeaderElectionRateAndTimeMs",type="ControllerStats"

正常的值：如果有broker挂了，此值非0

 

描述：Unclean的leader选举速率

Mbean名："kafka.controller":name="UncleanLeaderElectionsPerSec",type="ControllerStats"

正常的值：0

 

描述：该broker上的partition的数量

Mbean名： "kafka.server":name="PartitionCount",type="ReplicaManager"

正常的值：应在各个broker中平均分布

 

描述：Leader的replica的数量

Mbean名： "kafka.server":name="LeaderCount",type="ReplicaManager"

正常的值：应在各个broker中平均分布

 

描述：ISR的收缩(shrink)速率

Mbean名："kafka.server":name="ISRShrinksPerSec",type="ReplicaManager"

正常的值：如果一个broker挂掉了，一些partition的ISR会收缩。当那个broker重新起来时，一旦它的replica完全跟上，ISR会扩大(expand)。除此之外，正常情况下，此值和下面的扩大速率都是0。

 

描述：ISR的扩大(expansion)速率

Mbean名： "kafka.server":name="ISRExpandsPerSec",type="ReplicaManager"

正常的值：参见ISR的收缩(shrink)速率

 

描述：follower落后leader replica的最大的消息数量

Mbean名："kafka.server":name="([-.\w]+)-MaxLag",type="ReplicaFetcherManager"

正常的值：小于replica.lag.max.messages

 

描述：每个follower replica落后的消息速率

Mbean名："kafka.server":name="([-.\w]+)-ConsumerLag",type="FetcherLagMetrics"

正常的值：小于replica.lag.max.messages

 

描述：等待producer purgatory的请求数

Mbean名："kafka.server":name="PurgatorySize",type="ProducerRequestPurgatory"

正常的值：如果ack=-1，应为非0值

 

描述：等待fetch purgatory的请求数

Mbean名："kafka.server":name="PurgatorySize",type="FetchRequestPurgatory"

正常的值：依赖于consumer的fetch.wait.max.ms的设置

 

描述：一个请求(producer,Fetch-Consumer,Fetch-Follower)耗费的所有时间

Mbean名："kafka.network":name="{Produce|Fetch-Consumer|Fetch-Follower}-TotalTimeMs",type="RequestMetrics"

正常的值：包括了queue, local, remote和response send time

 

描述：请求(producer,Fetch-Consumer,Fetch-Follower)在请求队列中的等待时间

Mbean名："kafka.network":name="{Produce|Fetch-Consumer|Fetch-Follower}-QueueTimeMs",type="RequestMetrics"

正常的值：

 

描述：请求(producer,Fetch-Consumer,Fetch-Follower)在leader处理请求花的时间

Mbean名："kafka.network":name="{Produce|Fetch-Consumer|Fetch-Follower}-LocalTimeMs",type="RequestMetrics"

正常的值：

 

描述：请求(producer,Fetch-Consumer,Fetch-Follower)等待follower花费的时间

Mbean名："kafka.network":name="{Produce|Fetch-Consumer|Fetch-Follower}-RemoteTimeMs",type="RequestMetrics"

正常的值：producer的ack=-1时，非0才正常

 

描述：发送响应花费的时间

Mbean名："kafka.network":name="{Produce|Fetch-Consumer|Fetch-Follower}-ResponseSendTimeMs",type="RequestMetrics"

正常的值：

 

描述：consumer落后producer的消息数量

Mbean名："kafka.consumer":name="([-.\w]+)-MaxLag",type="ConsumerFetcherManager"

正常的值：

 

建议对GC耗时和其他参数和诸如系统CPU，I/O时间等等进行监控。在client端，建议对"消息数量/字节数"的速率(全局的和对于每一个topic)，请求的"速率/大小/耗时"进行监控。还有consumer端，所有partition的最大的落后情况和最小的fetch请求的速率。consumer为了能跟上，最大落后数量需要少于一个threshold并且最小fetch速率需要大于0.