`

配置Apache Kafka的zookeeper配置文件zookeeper.properties时的一个注意事项

 
阅读更多

转载自:http://blog.csdn.net/cfeibiao/article/details/8934423

Kafka默认的zookeeper.properties文件如下所示:



dataDir,clientPort的意义显而易见,就不用说了,对于maxClientCnxns选项,如果不设置或者设置为0,则每个ip连接zookeeper时的连接数没有限制。需要注意的是,设置maxClientCnxns的值时需要把kafka server的连接数考虑进去,因为启动kafka server时,kafka server也会连接zookeeper的。


例如,我把机器a的zookeeper.properties按下图所示来设置,其中maxClientCnxns=1


首先启动zookeeper,接着还是在机器a启动kafka server,server.properties的enable.zookeeper=true,如下图所示,kafka server也启动成功了



接下来在机器a启动Producer,如下面两幅图所示,重连多次都失败了




而zookeeper在标准输出提示我们超过配置文件里所设置的连接数了


因为我们设置maxClientCnxns=1,kafka server在机器a启动成功后,机器a连接zookeeper的连接数就是1了,如果接着在机器a启动producer,连接数就变成2了,超过maxClientCnxns的值,所以producer连接不上zookeeper.
分享到:
评论

相关推荐

    KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel

    标题中的“KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel”指的是Apache Kafka的一个特定版本的软件包,适用于Red Hat Enterprise Linux 7(RHEL 7)系统。这个版本是3.1.1,并且可能是某个特定发行版或修补版的1.3.1.1.p0.2...

    kafka-eagle-bin-2.1.0.tar.gz

    Kafka Eagle是一款针对Apache Kafka设计的开源管理工具,旨在提供一个直观且高效的监控和运维界面,以帮助管理员更好地管理和维护Kafka集群。其2.1.0版本是2022年7月发布的最新版本,包含了对Kafka各种功能的优化和...

    centos7下kafka和zookeeper和Redis集群搭建.zip

    Apache ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终将简单易用的接口和性能高效、功能稳定的系统提供给...

    kafka 与zookeeper打包.rar

    Zookeeper是由Apache基金会开发的一个开源项目,它是一个高度可用的分布式协调系统。在分布式环境中,Zookeeper提供了诸如配置管理、命名服务、集群同步、分布式锁等服务。Zookeeper基于一种称为ZNode的层次化命名...

    kafka_2.11-0.9.0.0.tgz

    在部署Kafka时,需要配置`server.properties`文件,指定broker的ID、Zookeeper连接地址以及其他网络和存储参数。同时,为了创建主题和管理分区,可能还需要使用Kafka提供的命令行工具,如`kafka-topics.sh`和`kafka-...

    zookeeper+kafka.zip windows安装kafka和zookeeper

    Apache ZooKeeper是一个分布式的、开放源代码的服务,用于管理配置信息、命名服务、集群同步以及分布式应用程序协调。而Apache Kafka是一款开源流处理平台,常用于构建实时数据管道和流应用。 **1. 安装ZooKeeper**...

    kafka-zookeeper集群配置

    而Zookeeper则是一个分布式协调服务,常用于管理分布式系统中的配置信息、命名服务、集群状态等。在Kafka中,Zookeeper扮演着关键角色,负责存储和管理Kafka集群的元数据。 **Kafka集群配置** 1. **安装准备**: ...

    Scala 2.12 - kafka_2.12-0.10.2.1.tgz

    **Apache Kafka** 是一个高度可扩展且高性能的分布式流处理平台,主要用于构建实时数据管道和流应用程序。这个压缩包文件 "kafka_2.12-0.10.2.1.tgz" 提供了 Kafka 的特定版本,即 0.10.2.1,针对 Scala 2.12 编译的...

    kafka和zookeeper安装包_linux.zip

    Zookeeper是一个分布式协调服务,它为分布式应用程序提供一致性服务,如命名服务、配置管理、集群管理、分布式同步等。Zookeeper的主要设计目标是简化分布式系统的复杂性,通过提供一种简单易用的接口,使得开发者...

    kafka+zookeeper高可用集群搭建shell使用脚本

    配置Kafka的`server.properties`文件时,需要设定broker.id、zookeeper.connect(指向Zookeeper集群的连接字符串)、offsets.topic.replication.factor(offsets主题的副本因子)等参数。 Shell脚本在此过程中起到...

    kafka-zookeeper.7z

    标题中的“kafka-zookeeper.7z”是一个包含Kafka和Zookeeper安装文件的压缩包。Kafka是一款高吞吐量的分布式消息系统,而Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,它是集群的必备组件,提供命名...

    kafka_2.11-0.11.0.2.tgz

    安装Kafka时,首先需要解压此tgz文件,然后配置`server.properties`以适应你的环境,包括设置broker ID、Zookeeper连接、日志目录等。接着,可以启动Kafka服务器,并使用bin目录下的工具创建主题、发送和消费消息。 ...

    kafka_2.10-0.10.0.0.tgz

    Apache Kafka是一个分布式流处理平台,它被设计为能够处理海量数据的实时消息传递。"kafka_2.10-0.10.0.0.tgz"是针对Java开发者的Kafka版本,特别注明可在JDK1.7环境下运行,这使得它对那些尚未升级到更高版本JDK的...

    zookeeper-3.4.8+kafka-2.12-1.0.tar.gz

    标题中的"zookeeper-3.4.8+kafka-2.12-1.0.tar.gz"是一个包含Zookeeper和Kafka的软件包,版本分别为3.4.8和2.12-1.0,它是一个适用于Linux操作系统的压缩文件。这个文件很可能是一个集成的打包,将两个重要的分布式...

    kafka-eagle-bin-1.3.2.tar.gz

    3. **配置文件**:根据提供的链接(<https://blog.csdn.net/qq_19524879/article/details/82848797>)访问详细配置教程,主要修改`conf/application.properties`文件,配置Kafka集群地址、Zookeeper地址、数据库连接...

    kafka_2.12-2.5.1&&apache-zookeeper-3.5.8

    标题中的“kafka_2.12-2.5.1”指的是Apache Kafka的一个特定版本,它是基于Java的分布式流处理平台,常用于构建实时数据管道和流应用。这个版本号表示Kafka是针对JDK 1.8及更高版本(因为2.12对应的是Java 8的版本号...

    kafka_2.10-0.10.1.0.tgz

    - **Kafka Connect**:此版本引入了Kafka Connect,一个用于将数据流入或流出Kafka的统一、可扩展且高度可配置的框架。它简化了与外部系统的集成,如数据库和Hadoop。 - **Kafka Streams**:提供了轻量级的流处理...

    kafka-0.10.2.1 + zookeeper-3.4.9.zip

    首先,我们需要分别安装Zookeeper和Kafka,这通常包括配置环境变量、修改配置文件(如zoo.cfg和server.properties)以及启动服务。接着,可以通过Kafka的命令行工具创建主题、生产消息和消费消息。同时,Zookeeper...

    kafka_2.11-1.0.0.tgz.zip

    其中,配置文件是操作Kafka的关键,如`server.properties`定义了broker的配置,`producer.properties`和`consumer.properties`分别用于设置生产者和消费者的参数。理解这些配置对于调整Kafka的性能至关重要。 安装...

Global site tag (gtag.js) - Google Analytics