- 浏览: 627152 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (819)
- java开发 (110)
- 数据库 (56)
- javascript (30)
- 生活、哲理 (17)
- jquery (36)
- 杂谈 (15)
- linux (62)
- spring (52)
- kafka (11)
- http协议 (22)
- 架构 (18)
- ZooKeeper (18)
- eclipse (13)
- ngork (2)
- dubbo框架 (6)
- Mybatis (9)
- 缓存 (28)
- maven (20)
- MongoDB (3)
- 设计模式 (3)
- shiro (10)
- taokeeper (1)
- 锁和多线程 (3)
- Tomcat7集群 (12)
- Nginx (34)
- nodejs (1)
- MDC (1)
- Netty (7)
- solr (15)
- JSON (8)
- rabbitmq (32)
- disconf (7)
- PowerDesigne (0)
- Spring Boot (31)
- 日志系统 (6)
- erlang (2)
- Swagger (3)
- 测试工具 (3)
- docker (17)
- ELK (2)
- TCC分布式事务 (2)
- marathon (12)
- phpMyAdmin (12)
- git (3)
- Atomix (1)
- Calico (1)
- Lua (7)
- 泛解析 (2)
- OpenResty (2)
- spring mvc (19)
- 前端 (3)
- spring cloud (15)
- Netflix (1)
- zipkin (3)
- JVM 内存模型 (5)
- websocket (1)
- Eureka (4)
- apollo (2)
- idea (2)
- go (1)
- 业务 (0)
- idea开发工具 (1)
最新评论
-
sichunli_030:
对于频繁调用的话,建议采用连接池机制
配置TOMCAT及httpClient的keepalive以高效利用长连接 -
11想念99不见:
你好,我看不太懂。假如我的项目中会频繁调用rest接口,是要用 ...
配置TOMCAT及httpClient的keepalive以高效利用长连接
一、概述
Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。
为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具。
该软件是用Scala语言编写的。目前(2015年02月03日)雅虎已经开源了Kafka Manager工具。这款Kafka集群管理工具主要支持以下几个功能:
1、管理几个不同的集群;
2、很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布);
3、选择副本;
4、产生分区分配(Generate partition assignments)基于集群的当前状态;
5、重新分配分区。
二、Kafka Manager下载及安装
项目地址:https://github.com/yahoo/kafka-manager
这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些,显示的信息更加丰富,kafka-manager本身可以是一个集群。
不过kafka-manager也没有权限管理功能。
下载:
1
git clone git@github.com:yahoo/kafka-manager.git
下载完后,只能源代码你什么也做不了,我们要把项目编译打包,该软件是用Scala语言编写,把有编译打包很麻烦,他依赖于sbt。sbt比较难安装。
三、sbt安装
1、下载sbt-0.13.11
我的服务器是centos 自动安装几次没有成功,我还是选择手动安装。
请自己到http://www.scala-sbt.org/download.html下载最新版本,我的版本是sbt-0.13.11
2、建立目录,解压文件到所建立目录
1
2
$ sudo mkdir /opt/scala/sbt
$ sudo tar zxvf sbt-0.13.11.tgz -C /opt/scala/
3、建立启动sbt的脚本文件
1
2
3
4
5
6
7
/*选定一个位置,建立启动sbt的脚本文本文件,如/opt/scala/sbt/ 目录下面新建文件名为sbt的文本文件*/
$ cd /opt/scala/sbt/
$ vim sbt
/*在sbt文本文件中添加
BT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@"
然后按esc键 输入 :wq 保存退出,注意红色字体中的路径可以是绝对路径也可以是相对路径,只要能够正确的定位到解压的sbt文件包中的sbt-launch.jar文件即可*/
并修改sbt文件权限
1
$ chmod u+x sbt
4、配置PATH环境变量,保证在控制台中可以使用sbt命令
1
2
3
$ vim /etc/profile
/*在文件尾部添加如下代码后,保存退出*/
export PATH=/opt/scala/sbt/:$PATH
1
2
/*使配置文件立刻生效*/
$ source /etc/profile
5、测试sbt是否安装成功
第一次执行时,会下载一些文件包,然后才能正常使用,要确保联网了,下载的过程分很慢。安装成功后显示如下
1
sbt sbt-version<br>[info] Set current project to sbt (in build file:/opt/scala/sbt/)<br>[info] 0.13.11
四、编绎打包
1
2
cd kafka-manager
sbt clean dist
生成的包会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了,在部署的机器上不需要安装sbt。
如果打包会很慢的要有点耐心呀,还有可能打包失败,可以考虑配置代理。
四、Kafka Manager部署
1、打好包好,在部署机器上解压,修改好配置文件,就可以运行了--解压
1
unzip kafka-manager-1.0-SNAPSHOT.zip
2、修改conf/application.conf,把kafka-manager.zkhosts改为自己的zookeeper服务器地址
1
kafka-manager.zkhosts="192.168.1.237:2181"
3、启动
1
2
cd kafka-manager-1.0-SNAPSHOT/bin
./kafka-manager -Dconfig.file=../conf/application.conf
4、查看帮助 和 后台运行
1
2
./kafka-manager -h
nohup ./kafka-manager -Dconfig.file=../conf/application.conf >/dev/null 2>&1 &
说明:正常来说,play框架应该会自动加载conf/application.conf配置里的内容,但是貌似这个不起作用,要显式指定才行。
参考: https://github.com/yahoo/kafka-manager/issues/16
5、默认http端口是9000,可以修改配置文件里的http.port的值,或者通过命令行参数传递:
1
./kafka-manager -Dhttp.port=9001
五、sbt 配置代理
sbt的配置http代理的参考文档:http://www.scala-sbt.org/0.12.1/docs/Detailed-Topics/Setup-Notes.html#http-proxy
通过-D设置叁数即可:
1
java -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=8080 -Dhttp.proxyUser=username -Dhttp.proxyPassword=mypassword
也可以用下面这种方式,设置一下SBT_OPTS的环境变量即可:
1
export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=myport"
注意:myproxy,这个值里不要带http前缀,也不要带端口号。
比如,你的代理是http://localhost:8123,那么应该这样配置:
1
export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=localhost -Dhttp.proxyPort=8123"
参考:http://www.cnblogs.com/yuanermen/p/5453483.html
apache kafka监控系列-KafkaOffsetMonitor
https://blog.csdn.net/lizhitao/article/details/27199863
Apache Kafka监控之Kafka Web Console
https://www.iteblog.com/archives/1084.html
Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。
为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具。
该软件是用Scala语言编写的。目前(2015年02月03日)雅虎已经开源了Kafka Manager工具。这款Kafka集群管理工具主要支持以下几个功能:
1、管理几个不同的集群;
2、很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布);
3、选择副本;
4、产生分区分配(Generate partition assignments)基于集群的当前状态;
5、重新分配分区。
二、Kafka Manager下载及安装
项目地址:https://github.com/yahoo/kafka-manager
这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些,显示的信息更加丰富,kafka-manager本身可以是一个集群。
不过kafka-manager也没有权限管理功能。
下载:
1
git clone git@github.com:yahoo/kafka-manager.git
下载完后,只能源代码你什么也做不了,我们要把项目编译打包,该软件是用Scala语言编写,把有编译打包很麻烦,他依赖于sbt。sbt比较难安装。
三、sbt安装
1、下载sbt-0.13.11
我的服务器是centos 自动安装几次没有成功,我还是选择手动安装。
请自己到http://www.scala-sbt.org/download.html下载最新版本,我的版本是sbt-0.13.11
2、建立目录,解压文件到所建立目录
1
2
$ sudo mkdir /opt/scala/sbt
$ sudo tar zxvf sbt-0.13.11.tgz -C /opt/scala/
3、建立启动sbt的脚本文件
1
2
3
4
5
6
7
/*选定一个位置,建立启动sbt的脚本文本文件,如/opt/scala/sbt/ 目录下面新建文件名为sbt的文本文件*/
$ cd /opt/scala/sbt/
$ vim sbt
/*在sbt文本文件中添加
BT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@"
然后按esc键 输入 :wq 保存退出,注意红色字体中的路径可以是绝对路径也可以是相对路径,只要能够正确的定位到解压的sbt文件包中的sbt-launch.jar文件即可*/
并修改sbt文件权限
1
$ chmod u+x sbt
4、配置PATH环境变量,保证在控制台中可以使用sbt命令
1
2
3
$ vim /etc/profile
/*在文件尾部添加如下代码后,保存退出*/
export PATH=/opt/scala/sbt/:$PATH
1
2
/*使配置文件立刻生效*/
$ source /etc/profile
5、测试sbt是否安装成功
第一次执行时,会下载一些文件包,然后才能正常使用,要确保联网了,下载的过程分很慢。安装成功后显示如下
1
sbt sbt-version<br>[info] Set current project to sbt (in build file:/opt/scala/sbt/)<br>[info] 0.13.11
四、编绎打包
1
2
cd kafka-manager
sbt clean dist
生成的包会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了,在部署的机器上不需要安装sbt。
如果打包会很慢的要有点耐心呀,还有可能打包失败,可以考虑配置代理。
四、Kafka Manager部署
1、打好包好,在部署机器上解压,修改好配置文件,就可以运行了--解压
1
unzip kafka-manager-1.0-SNAPSHOT.zip
2、修改conf/application.conf,把kafka-manager.zkhosts改为自己的zookeeper服务器地址
1
kafka-manager.zkhosts="192.168.1.237:2181"
3、启动
1
2
cd kafka-manager-1.0-SNAPSHOT/bin
./kafka-manager -Dconfig.file=../conf/application.conf
4、查看帮助 和 后台运行
1
2
./kafka-manager -h
nohup ./kafka-manager -Dconfig.file=../conf/application.conf >/dev/null 2>&1 &
说明:正常来说,play框架应该会自动加载conf/application.conf配置里的内容,但是貌似这个不起作用,要显式指定才行。
参考: https://github.com/yahoo/kafka-manager/issues/16
5、默认http端口是9000,可以修改配置文件里的http.port的值,或者通过命令行参数传递:
1
./kafka-manager -Dhttp.port=9001
五、sbt 配置代理
sbt的配置http代理的参考文档:http://www.scala-sbt.org/0.12.1/docs/Detailed-Topics/Setup-Notes.html#http-proxy
通过-D设置叁数即可:
1
java -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=8080 -Dhttp.proxyUser=username -Dhttp.proxyPassword=mypassword
也可以用下面这种方式,设置一下SBT_OPTS的环境变量即可:
1
export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=myport"
注意:myproxy,这个值里不要带http前缀,也不要带端口号。
比如,你的代理是http://localhost:8123,那么应该这样配置:
1
export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=localhost -Dhttp.proxyPort=8123"
参考:http://www.cnblogs.com/yuanermen/p/5453483.html
apache kafka监控系列-KafkaOffsetMonitor
https://blog.csdn.net/lizhitao/article/details/27199863
Apache Kafka监控之Kafka Web Console
https://www.iteblog.com/archives/1084.html
发表评论
-
背压(Backpressure)机制
2020-11-30 20:26 335https://blog.csdn.net/daimengs/ ... -
Kafka 之 入门
2016-07-27 18:08 350http://my.oschina.net/frankwu/b ... -
Kafka剖析(一):Kafka背景及架构介绍
2016-07-26 17:29 643Kafka剖析(一):Kafka背景及架构介绍: http:/ ... -
AMQP协议(经典)
2016-07-26 08:23 396当前各种应用大量使用 ... -
分布式消息系统 Kafka 简介
2016-07-25 16:52 520Kafka是分布式发布-订阅消息系统。它最初由LinkedIn ... -
RabbitMQ消息队列:ACK机制
2016-07-25 15:06 4345每个Consumer可能需要一 ... -
RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总
2016-07-25 14:42 371参考:http://blog.csdn.net/linsong ... -
最全最给力的kafka博客
2016-07-25 14:35 463参考:http://blog.csdn.net/lizhita ... -
RabbitMq与KafKa比较
2016-07-25 14:35 486如何保证kafka的高容错性? 1. producer不使用 ... -
Kafka背景及架构介绍
2016-05-12 15:22 523Kafka剖析(一): Kafka是由LinkedIn开发的一 ...
相关推荐
对于初学者来说,了解并掌握这些监控工具是十分必要的。KafkaOffsetMonitor可以帮助理解消费者如何处理消息,而Kafka-Manager则提供了一个直观的界面来管理和诊断整个Kafka集群。两者结合使用,可以有效地确保Kafka...
Kafka-Eagle 是针对 Kafka 集群设计的一款高效、易用的监控工具,旨在提供对 Kafka 的深度监控和管理。 Kafka-Eagle 的主要特点包括: 1. **全面监控**:它能够监控 Kafka 的关键指标,如 Broker 的状态、Topic 的...
资源介绍了kafka的监控工具-kafkaOffsetMonitor在windodws环境下的部署,以kafkaOffsetMonitor_0.2.1版本举例说明了该工具在windows环境下如何部署及对kafka参数进行监控。
本文将详细探讨“kafka监控工具”,特别是通过Windows客户端连接Zookeeper来获取Kafka运行状态的方法。 Zookeeper是Apache Hadoop的一个子项目,它是一个分布式的、开放源码的协调服务,为分布式应用提供一致性服务...
因此,一个免费且跨平台的offset Kafka监控工具,如描述中的这款,对于任何使用Kafka的企业或开发者来说,都是一种宝贵的资源。 总的来说,这款offset kafka监控工具通过提供实时的offset信息和便捷的操作方式,...
标题中的“实测可用kafka监控工具”指的是一个经过实际测试的工具,这个工具能够帮助管理员有效监控Kafka集群的状态,确保系统的稳定运行。这样的工具通常包含以下几个关键功能: 1. **基本信息仪表盘**:这是一个...
kafka监控工具KafkaOffsetMonitor afkaOffsetMonitor是Kafka的一款客户端消费监控工具,用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有...
**Kafka Eagle** 是一款专为Apache Kafka设计的开源监控和管理工具,旨在提供更为直观、高效的监控解决方案。...尽管2018年的版本可能无法满足最新的需求,但它仍然是了解Kafka监控工具的一个良好起点。
首先,"kafka连接工具客户端.rar"这个压缩包中包含的是针对Windows平台设计的Kafka可视化工具,这类工具通常具有图形化界面,使得用户无需编写复杂的命令行指令,就能直观地管理和监控Kafka集群。它们简化了创建、...
《实测可用Kafka监控工具——Kafka-Manager深度解析》 在大数据处理领域,Apache Kafka作为一款高效、可扩展的分布式流处理平台,扮演着至关重要的角色。然而,随着Kafka集群规模的扩大,管理和监控Kafka的复杂性也...
Kafka-Manager是一款强大的开源工具,专为管理和监控Apache Kafka集群而设计。它由Yahoo!开发并维护,为Kafka用户提供了一种直观且易用的界面,帮助用户更好地理解和控制他们的Kafka环境。在本文中,我们将深入探讨...
【Kafka监控工具KafkaOffsetMonitor详解】 KafkaOffsetMonitor是一款强大的开源监控工具,专为Apache Kafka设计,用于实时监控和分析Kafka集群中的消费者偏移量。它可以帮助管理员跟踪消费者的消费进度,确保数据的...
**Kafka监控工具KafkaOffsetMonitor详解** 在大数据实时处理领域,Apache Kafka作为一个高效、可扩展的开源消息系统,扮演着重要角色。然而,为了确保Kafka集群的稳定运行和数据完整性,有效的监控至关重要。这就是...
然而,对于开发者和运维人员来说,测试和监控Kafka集群的性能和功能往往需要借助一些工具。本文将详细介绍一款可视化Kafka测试工具,该工具能够简化Kafka消息的生产和消费过程,并提供直观的界面来帮助我们理解Kafka...
首先,Kafka Manager是一款开源的Kafka监控工具,它的源代码可以在名为"kafka-manager-master"的压缩包中找到。Kafka Manager提供了用户友好的界面,允许管理员轻松查看和管理Kafka集群。它能够帮助我们完成以下任务...
总结来说,`kafkatool` 是一个强大而实用的 Kafka 管理工具,能够帮助开发者和运维人员更轻松地管理和监控 Kafka 集群,提高工作效率。无论是创建和管理主题、监控消费者组,还是进行数据操作,`kafkatool` 都能提供...
kafkaTool工具是kafka的一个监控工具,可以监控kafka的集群健康情况
接下来是kafka-eagle-bin-1.4.6.tar.gz,这是一个功能更为强大的Kafka监控和管理平台。Kafka-Eagle设计的目标是提供一个统一的界面,以便于系统管理员对Kafka集群进行全方位的监控和运维。其主要特性包括: 1. **...
**Kafka工具详解——Kafkatool** Kafka作为一个分布式流处理平台,广泛应用于大数据实时处理和消息传递。然而,管理Kafka集群和操作其组件(如topics、partitions、offsets等)可能会变得复杂,这时就需要一些可视...
Kafka监控是确保分布式消息系统高效、稳定运行的关键环节,Kafka-Eagle是一款专为Kafka设计的可视化管理和监控工具。这款工具提供了丰富的界面展示,包括消费者、主题、 broker、集群的状态信息,以及性能指标等,...