`
gaojingsong
  • 浏览: 1210677 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

【Kafka之kafka-manager监控使用示例】

阅读更多

[root@node1 opt]# ls

collectd         flume1.6       influxdb              nagios-plugins-1.4.13  Python-2.6.6.tgz                

  yum-3.2.26.tar.gz  elasticsearch-2.0.0-rc1         gnu            kafka_2.10-0.9.0.1                  

 openssl-1.0.0e         soft         zookeepe346  elasticsearch-2.1.1             grafana-2.5.0  

kafka-web-console-2.1.0-SNAPSHOT      ORCLfmap               storm096       zookeeper.out

elasticsearch-jdbc-2.2.0.0      hadoop         kafka-web-console-2.1.0-SNAPSHOT.zip  path                   stormTest.jar  elasticsearch-jdbc-2.2.0.0.zip  hadoop_data    mq       php-5.4.10   wget-log

es5.0          httpd-2.2.23   nagios       Python-2.6.6     yum-3.2.22-40.el5.centos.noarch.rpm

[root@node1 opt]# cd zookeepe346/bin/

[root@node1 bin]# ./zkServer.sh start

JMX enabled by default

Using config: /opt/zookeepe346/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

[root@node1 bin]# cd ../../kafka_2.10-0.9.0.1/

[root@node1 kafka_2.10-0.9.0.1]# cd bin/

 

[root@node1 opt]# ls

collectd        flume1.6       influxdb         mq          php-5.4.10     wget-log   elasticsearch-2.0.0-rc1         gnu            kafka_2.10-0.9.0.1         nagios     Python-2.6.6      yum-3.2.22-40.el5.centos.noarch.rpm

elasticsearch-2.1.1   grafana-2.5.0  kafka-manager-1.3.0.4.zip             nagios-plugins-1.4.13  Python-2.6.6.tgz  yum-3.2.26.tar.gz  elasticsearch-jdbc-2.2.0.0      hadoop         kafka-manager-1.3.3.4.zip             openssl-1.0.0e         soft     zookeepe346   elasticsearch-jdbc-2.2.0.0.zip  hadoop_data    

kafka-web-console-2.1.0-SNAPSHOT      ORCLfmap               storm096          zookeeper.out

es5.0         httpd-2.2.23   kafka-web-console-2.1.0-SNAPSHOT.zip  path    stormTest.jar

 

[root@node1 bin]# ./kafka-server-start.sh ../config/server.properties  &

[1] 3653

 

[root@node1 opt]# unzip kafka-manager-1.3.3.4.zip

 

[root@node1 kafka-manager-1.3.3.4]# cd bin/

[root@node1 bin]# ls

kafka-manager  kafka-manager.bat

[root@node1 bin]# sh kafka-manager

Exception in thread "main" java.lang.UnsupportedClassVersionError: com/typesafe/config/ConfigException : Unsupported major.minor version 52.0  -->修改JDK版本

        at java.lang.ClassLoader.defineClass1(Native Method)

        at java.lang.ClassLoader.defineClass(ClassLoader.java:800)

        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)

        at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)

        at java.net.URLClassLoader.access$100(URLClassLoader.java:71)

        at java.net.URLClassLoader$1.run(URLClassLoader.java:361)

        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)

        at java.security.AccessController.doPrivileged(Native Method)

        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)

        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

        at play.core.server.ProdServerStart$.readServerConfigSettings(ProdServerStart.scala:81)

        at play.core.server.ProdServerStart$.start(ProdServerStart.scala:42)

        at play.core.server.ProdServerStart$.main(ProdServerStart.scala:27)

        at play.core.server.ProdServerStart.main(ProdServerStart.scala)

[root@node1 bin]# cat kafka-manager

[root@node1 bin]# vi application.conf  -->配置ZK

[root@node1 bin]# cat ../conf/application.conf 

 

# Copyright 2015 Yahoo Inc. Licensed under the Apache License, Version 2.0

# See accompanying LICENSE file.

 

# This is the main configuration file for the application.

# ~~~~~

 

# Secret key

# ~~~~~

# The secret key is used to secure cryptographics functions.

# If you deploy your application to several instances be sure to use the same key!

play.crypto.secret="^<csmm5Fx4d=r2HEX8pelM3iBkFVv?k[mc;IZE<_Qoq8EkX_/7@Zt6dP05Pzea3U"

play.crypto.secret=${?APPLICATION_SECRET}

 

# The application languages

# ~~~~~

play.i18n.langs=["en"]

 

play.http.requestHandler = "play.http.DefaultHttpRequestHandler"

play.http.context = "/"

play.application.loader=loader.KafkaManagerLoader

 

kafka-manager.zkhosts="192.168.8.131:2181"

#kafka-manager.zkhosts=${?ZK_HOSTS}

pinned-dispatcher.type="PinnedDispatcher"

pinned-dispatcher.executor="thread-pool-executor"

application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]

 

akka {

  loggers = ["akka.event.slf4j.Slf4jLogger"]

  loglevel = "INFO"

}

 

 

basicAuthentication.enabled=false

basicAuthentication.username="admin"

basicAuthentication.password="password"

basicAuthentication.realm="Kafka-Manager"

 

 

kafka-manager.consumer.properties.file=${?CONSUMER_PROPERTIES_FILE}

[root@node1 bin]# 

 

[root@node1 bin]# sh kafka-manager



 



 



 

  • 大小: 60.1 KB
  • 大小: 48.7 KB
  • 大小: 70.8 KB
0
1
分享到:
评论

相关推荐

    kafka-manager-1.3.3.18 编译完成的zip包

    1. **集群监控**:Kafka Manager 提供实时的集群状态查看,包括 brokers、topics、partitions 和 replication 状态等,帮助管理员快速了解集群健康状况。 2. **主题管理**:支持创建、删除、修改和查看 Kafka 主题...

    Kafka-Manager简介与安装1

    5. **拷贝编译结果**:编译完成后,找到`target/universal`目录下的`kafka-manager-1.3.3.18.zip`文件,将其拷贝到指定目录 `/user/local/kafkaManager`。 6. **解压并配置**:解压`kafka-manager-1.3.3.18.zip`,...

    kafka_2.11-1.1.1安装包

    8. **监控和管理**:Kafka提供了JMX接口用于监控,还可以借助工具如Kafka-Manager进行可视化管理。 总的来说,Kafka 1.1.1版本在消息处理和分布式架构方面提供了强大的支持,适用于需要实时数据处理和分析的大数据...

    kafka-2.1.1-src.tgz

    另外,还可以利用Kafka的管理界面Kafka Manager或者JMX监控Kafka的运行状态。 9. **安全配置**:如果你的环境需要安全性,可以配置SSL加密或者SASL认证来增强Kafka的安全性。 10. **扩展性**:Kafka支持多节点集群...

    kafka搭建所需包_CodingPark

    1. 可以使用Kafka提供的JMX端口进行监控,或者使用第三方工具如Kafka Manager、Confluent Control Center等 请注意,以上步骤是基于单节点环境的简单示例。在生产环境中,你可能需要考虑多节点Zookeeper集群和Kafka...

    Kafka常用命令总结.docx

    Kafka提供了一些监控工具,如`process_monitor.sh`用于监控进程,`kafka-manager`是一个图形化的管理工具。此外,还有批量操作工具如`mooon_ssh`、`mooon_upload`等,方便在多节点集群中进行统一操作。 7. **Kafka...

    kafka消息队列样例

    8. **监控与管理**:Kafka提供Kafka Manager或Kafka Connect等工具,用于监控集群状态、管理主题和消费者,以及实现与其他系统的集成。 总的来说,Kafka消息队列提供了一种高效、可靠的数据交换机制,适合大规模...

    apache kafka0.10.20 搭建简单环境并运行javaDemo

    可以使用 `kafka-topics.sh` 和 `kafka-console-consumer.sh` 命令行工具来检查主题信息和消费消息,或使用图形界面工具如 Kafka Manager 进行更直观的管理。 通过以上步骤,你将在本地环境中成功搭建了 Apache ...

    Kafka和Zookeeper集群搭建

    - **第三方工具**:例如Kafka Manager、Zookeeper Monitor等,提供图形化的监控界面。 以上就是关于"Kafka和Zookeeper集群搭建"的知识点介绍,包括了Kafka和Zookeeper的基本概念、集群搭建步骤、源码分析以及相关...

    Apache Kafka.docx

    - 使用 Kafka 的监控工具(如 Kafka Manager、Confluent Control Center)来管理集群。 - 监控集群的状态,及时发现并解决问题。 4. **扩展和优化**: - 根据业务需求调整集群配置。 - 对系统进行性能调优,以...

    kafka搭建单机windows_单机linux_集群linux操作.rar

    4. **监控与管理**:安装和配置Kafka的监控工具,如Kafka Manager,以便实时查看集群状态,进行问题排查。 5. **故障转移**:了解并实践在节点故障时如何进行数据恢复和选举新的领导者,这是集群稳定运行的关键。 ...

    [转]Kafka深度解析

    Kafka提供Kafka Manager和Kafka Connect等工具,方便用户监控集群状态、管理主题和消费者,以及实现与其他系统的集成。 【知识点八】:Kafka的扩展性 Kafka通过增加更多的Brokers和调整分区策略,能够轻松地扩展...

    kafka入门demo

    10. **监控和管理**:最后,学习如何使用Kafka的命令行工具或第三方工具(如Kafka Manager、Confluent Control Center等)进行监控和管理,确保系统的稳定运行。 通过这个Kafka入门Demo,你可以掌握基本的Kafka操作...

    decisions-on-kafka:该示例显示如何在Kafka的消息驱动的体系结构中使用IBM ODM

    此样本说明如何将IBM Operational Decision Manager(ODM)与Apache Kafka一起使用,Apache Kafka是一个分布式流平台,允许设置消息驱动的体系结构。 在样本的体系结构中,客户端应用程序发送贷款请求,并且决策...

    聊聊高并发高可用那些事(Kafka、Redis、MySQL)

    9. **生产者与消费者代码示例**:展示如何编程与Kafka交互。 10. **Kafka Tool**:Windows下的可视化工具,方便管理Kafka集群。 以上内容涵盖了Kafka、Redis和MySQL在处理高并发和高可用性时的关键知识点,包括...

    flink-1.16.2下载安装包,flink-1.16.2-bin-scala-2.12.zip

    - **Kafka连接器**:支持与Apache Kafka的数据流集成,用于实时数据摄取和分发。 9. **容错与恢复** - **检查点和保存点**:Flink利用周期性的检查点或可保存的保存点来实现容错。 - **State Backend**:用户...

    大数据课程体系

    - **Zookeeperredis高可用监控实现**:使用Zookeeper监控Redis集群的状态。 #### 八、Netty异步IO通信框架 - **Netty异步io通信框架**:学习Netty框架的特点及其在高并发服务器开发中的应用。 - **Zookeeper实现...

    ar-workflow-helpers:一个npm模块,其中包含与kafka一起使用的常用方法

    测试用例(如果存在)可以帮助确认模块功能的正确性,并且是理解模块如何使用的良好示例。文档可能包含README文件,提供快速入门指南和API参考,这对于学习如何使用这个模块非常有帮助。 总的来说,`ar-workflow-...

Global site tag (gtag.js) - Google Analytics