`

三种 Kafka 监控工具

 
阅读更多
一、概述

      Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。
  为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具。
  该软件是用Scala语言编写的。目前(2015年02月03日)雅虎已经开源了Kafka Manager工具。这款Kafka集群管理工具主要支持以下几个功能:
  1、管理几个不同的集群;
  2、很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布);
  3、选择副本;
  4、产生分区分配(Generate partition assignments)基于集群的当前状态;
  5、重新分配分区。

二、Kafka Manager下载及安装

     项目地址:https://github.com/yahoo/kafka-manager

     这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些,显示的信息更加丰富,kafka-manager本身可以是一个集群。

     不过kafka-manager也没有权限管理功能。

     下载:

1
git clone git@github.com:yahoo/kafka-manager.git
    下载完后,只能源代码你什么也做不了,我们要把项目编译打包,该软件是用Scala语言编写,把有编译打包很麻烦,他依赖于sbt。sbt比较难安装。



三、sbt安装

    1、下载sbt-0.13.11

         我的服务器是centos 自动安装几次没有成功,我还是选择手动安装。

         请自己到http://www.scala-sbt.org/download.html下载最新版本,我的版本是sbt-0.13.11

    2、建立目录,解压文件到所建立目录

1
2
$ sudo mkdir /opt/scala/sbt
$ sudo tar zxvf sbt-0.13.11.tgz -C /opt/scala/
  3、建立启动sbt的脚本文件

1
2
3
4
5
6
7
/*选定一个位置,建立启动sbt的脚本文本文件,如/opt/scala/sbt/ 目录下面新建文件名为sbt的文本文件*/
$ cd /opt/scala/sbt/
$ vim sbt
/*在sbt文本文件中添加
BT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@"
然后按esc键 输入 :wq 保存退出,注意红色字体中的路径可以是绝对路径也可以是相对路径,只要能够正确的定位到解压的sbt文件包中的sbt-launch.jar文件即可*/
  并修改sbt文件权限

1
$ chmod u+x sbt
  4、配置PATH环境变量,保证在控制台中可以使用sbt命令

1
2
3
$ vim /etc/profile
/*在文件尾部添加如下代码后,保存退出*/
export PATH=/opt/scala/sbt/:$PATH
  

1
2
/*使配置文件立刻生效*/
$ source /etc/profile
   5、测试sbt是否安装成功
          第一次执行时,会下载一些文件包,然后才能正常使用,要确保联网了,下载的过程分很慢。安装成功后显示如下

1
sbt sbt-version<br>[info] Set current project to sbt (in build file:/opt/scala/sbt/)<br>[info] 0.13.11
  

四、编绎打包

1
2
cd kafka-manager
sbt clean dist
  生成的包会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了,在部署的机器上不需要安装sbt。

      如果打包会很慢的要有点耐心呀,还有可能打包失败,可以考虑配置代理。

四、Kafka Manager部署

    1、打好包好,在部署机器上解压,修改好配置文件,就可以运行了--解压

1
unzip kafka-manager-1.0-SNAPSHOT.zip
 2、修改conf/application.conf,把kafka-manager.zkhosts改为自己的zookeeper服务器地址

1
kafka-manager.zkhosts="192.168.1.237:2181"
 3、启动

1
2
cd kafka-manager-1.0-SNAPSHOT/bin
./kafka-manager -Dconfig.file=../conf/application.conf
 4、查看帮助 和 后台运行

1
2
./kafka-manager -h
nohup ./kafka-manager -Dconfig.file=../conf/application.conf >/dev/null 2>&1 &
 说明:正常来说,play框架应该会自动加载conf/application.conf配置里的内容,但是貌似这个不起作用,要显式指定才行。

参考: https://github.com/yahoo/kafka-manager/issues/16

    5、默认http端口是9000,可以修改配置文件里的http.port的值,或者通过命令行参数传递:

1
./kafka-manager -Dhttp.port=9001


五、sbt 配置代理

    sbt的配置http代理的参考文档:http://www.scala-sbt.org/0.12.1/docs/Detailed-Topics/Setup-Notes.html#http-proxy

    通过-D设置叁数即可:

1
java -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=8080 -Dhttp.proxyUser=username -Dhttp.proxyPassword=mypassword
  也可以用下面这种方式,设置一下SBT_OPTS的环境变量即可:

1
export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=myport"
  注意:myproxy,这个值里不要带http前缀,也不要带端口号。

      比如,你的代理是http://localhost:8123,那么应该这样配置:

1
export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=localhost -Dhttp.proxyPort=8123"

参考:http://www.cnblogs.com/yuanermen/p/5453483.html

apache kafka监控系列-KafkaOffsetMonitor
https://blog.csdn.net/lizhitao/article/details/27199863

Apache Kafka监控之Kafka Web Console
https://www.iteblog.com/archives/1084.html
分享到:
评论

相关推荐

    Kafka监控工具.zip

    对于初学者来说,了解并掌握这些监控工具是十分必要的。KafkaOffsetMonitor可以帮助理解消费者如何处理消息,而Kafka-Manager则提供了一个直观的界面来管理和诊断整个Kafka集群。两者结合使用,可以有效地确保Kafka...

    5、kafka监控工具Kafka-Eagle介绍及使用

    Kafka-Eagle 是针对 Kafka 集群设计的一款高效、易用的监控工具,旨在提供对 Kafka 的深度监控和管理。 Kafka-Eagle 的主要特点包括: 1. **全面监控**:它能够监控 Kafka 的关键指标,如 Broker 的状态、Topic 的...

    Windows环境下kafka监控工具之kafkaOffsetMonitor的部署

    资源介绍了kafka的监控工具-kafkaOffsetMonitor在windodws环境下的部署,以kafkaOffsetMonitor_0.2.1版本举例说明了该工具在windows环境下如何部署及对kafka参数进行监控。

    kafka监控工具

    本文将详细探讨“kafka监控工具”,特别是通过Windows客户端连接Zookeeper来获取Kafka运行状态的方法。 Zookeeper是Apache Hadoop的一个子项目,它是一个分布式的、开放源码的协调服务,为分布式应用提供一致性服务...

    offset kafka监控工具 免费

    因此,一个免费且跨平台的offset Kafka监控工具,如描述中的这款,对于任何使用Kafka的企业或开发者来说,都是一种宝贵的资源。 总的来说,这款offset kafka监控工具通过提供实时的offset信息和便捷的操作方式,...

    实测可用kafka监控工具

    标题中的“实测可用kafka监控工具”指的是一个经过实际测试的工具,这个工具能够帮助管理员有效监控Kafka集群的状态,确保系统的稳定运行。这样的工具通常包含以下几个关键功能: 1. **基本信息仪表盘**:这是一个...

    kafka监控工具KafkaOffsetMonitor.7z

    kafka监控工具KafkaOffsetMonitor afkaOffsetMonitor是Kafka的一款客户端消费监控工具,用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有...

    kafka监控工具kafka-eagle

    **Kafka Eagle** 是一款专为Apache Kafka设计的开源监控和管理工具,旨在提供更为直观、高效的监控解决方案。...尽管2018年的版本可能无法满足最新的需求,但它仍然是了解Kafka监控工具的一个良好起点。

    kafka连接工具客户端.rar

    首先,"kafka连接工具客户端.rar"这个压缩包中包含的是针对Windows平台设计的Kafka可视化工具,这类工具通常具有图形化界面,使得用户无需编写复杂的命令行指令,就能直观地管理和监控Kafka集群。它们简化了创建、...

    实测可用kafka监控工具(2)--kafka-manager

    《实测可用Kafka监控工具——Kafka-Manager深度解析》 在大数据处理领域,Apache Kafka作为一款高效、可扩展的分布式流处理平台,扮演着至关重要的角色。然而,随着Kafka集群规模的扩大,管理和监控Kafka的复杂性也...

    kafka-manager监控管理kafka工具

    Kafka-Manager是一款强大的开源工具,专为管理和监控Apache Kafka集群而设计。它由Yahoo!开发并维护,为Kafka用户提供了一种直观且易用的界面,帮助用户更好地理解和控制他们的Kafka环境。在本文中,我们将深入探讨...

    kafka监控工具KafkaOffsetMnitor angularjs和css

    【Kafka监控工具KafkaOffsetMonitor详解】 KafkaOffsetMonitor是一款强大的开源监控工具,专为Apache Kafka设计,用于实时监控和分析Kafka集群中的消费者偏移量。它可以帮助管理员跟踪消费者的消费进度,确保数据的...

    kafka监控工具KafkaOffsetMonitor.rar

    **Kafka监控工具KafkaOffsetMonitor详解** 在大数据实时处理领域,Apache Kafka作为一个高效、可扩展的开源消息系统,扮演着重要角色。然而,为了确保Kafka集群的稳定运行和数据完整性,有效的监控至关重要。这就是...

    可视化kafka测试工具

    然而,对于开发者和运维人员来说,测试和监控Kafka集群的性能和功能往往需要借助一些工具。本文将详细介绍一款可视化Kafka测试工具,该工具能够简化Kafka消息的生产和消费过程,并提供直观的界面来帮助我们理解Kafka...

    kafka 监控工具

    首先,Kafka Manager是一款开源的Kafka监控工具,它的源代码可以在名为"kafka-manager-master"的压缩包中找到。Kafka Manager提供了用户友好的界面,允许管理员轻松查看和管理Kafka集群。它能够帮助我们完成以下任务...

    kafkatool 连接kafka工具

    总结来说,`kafkatool` 是一个强大而实用的 Kafka 管理工具,能够帮助开发者和运维人员更轻松地管理和监控 Kafka 集群,提高工作效率。无论是创建和管理主题、监控消费者组,还是进行数据操作,`kafkatool` 都能提供...

    kafkaTool工具.exe

    kafkaTool工具是kafka的一个监控工具,可以监控kafka的集群健康情况

    kafka2种工具 kafkatool-64bit.exe kafka-eagle-bin-1.4.6.tar.gz

    接下来是kafka-eagle-bin-1.4.6.tar.gz,这是一个功能更为强大的Kafka监控和管理平台。Kafka-Eagle设计的目标是提供一个统一的界面,以便于系统管理员对Kafka集群进行全方位的监控和运维。其主要特性包括: 1. **...

    kafka可视化工具--kafkatool

    **Kafka工具详解——Kafkatool** Kafka作为一个分布式流处理平台,广泛应用于大数据实时处理和消息传递。然而,管理Kafka集群和操作其组件(如topics、partitions、offsets等)可能会变得复杂,这时就需要一些可视...

    kafka监控安装包

    Kafka监控是确保分布式消息系统高效、稳定运行的关键环节,Kafka-Eagle是一款专为Kafka设计的可视化管理和监控工具。这款工具提供了丰富的界面展示,包括消费者、主题、 broker、集群的状态信息,以及性能指标等,...

Global site tag (gtag.js) - Google Analytics