1、遇到Producer connection to hostname:9092 unsuccessful
14/12/29 11:57:39 INFO utils.VerifiableProperties: Verifying properties 14/12/29 11:57:39 INFO utils.VerifiableProperties: Property metadata.broker.list is overridden to master001:9092,master001:9092 14/12/29 11:57:39 INFO utils.VerifiableProperties: Property serializer.class is overridden to kafka.serializer.StringEncoder SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/E:/maven_repo/repository/ch/qos/logback/logback-classic/1.0.13/logback-classic-1.0.13.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/E:/maven_repo/repository/org/slf4j/slf4j-log4j12/1.6.1/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [ch.qos.logback.classic.util.ContextSelectorStaticBinder] 14/12/29 11:57:39 INFO client.ClientUtils$: Fetching metadata from broker id:1,host:master001,port:9092 with correlation id 0 for 1 topic(s) Set(topicName) 14/12/29 11:57:41 ERROR producer.SyncProducer: Producer connection to master001:9092 unsuccessful java.nio.channels.UnresolvedAddressException at sun.nio.ch.Net.checkAddress(Net.java:127) at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:640) at kafka.network.BlockingChannel.connect(BlockingChannel.scala:57) at kafka.producer.SyncProducer.connect(SyncProducer.scala:141) at kafka.producer.SyncProducer.getOrMakeConnection(SyncProducer.scala:156) at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:68) at kafka.producer.SyncProducer.send(SyncProducer.scala:112) at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:53) at kafka.producer.BrokerPartitionInfo.updateInfo(BrokerPartitionInfo.scala:82) at kafka.producer.async.DefaultEventHandler$$anonfun$handle$1.apply$mcV$sp(DefaultEventHandler.scala:67) at kafka.utils.Utils$.swallow(Utils.scala:167) at kafka.utils.Logging$class.swallowError(Logging.scala:106) at kafka.utils.Utils$.swallowError(Utils.scala:46) at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:67) at kafka.producer.Producer.send(Producer.scala:76) at kafka.javaapi.producer.Producer.send(Producer.scala:33) at kafka.examples.Producer.run(Producer.java:46)
解决办法:
寻找linux下的/etc/hosts和window下的C:\Windows\System32\drivers\etc\hosts所有IP地址与主机名是否配置正确。
最后发现一个低级错误,window下的hostname配置IP地址错误了。
192.168.0.36 hadoop.main 192.168.0.146 hadoop.slave1 192.168.0.142 slave001 192.168.146 master001
注意:192.168.146 master001
相关推荐
Java是Kafka开发的常用语言,因为它具有丰富的库支持和广泛的应用场景。在Java中与Kafka交互通常需要使用到`kafka-clients`和`zookeeper-client`相关的jar包。 标题中的"Kafka集群Java开发jar包"指的是使用Java进行...
- 异常处理:了解Kafka-clients可能抛出的异常类型,如`KafkaException`、`RetriableException`等,编写合适的错误处理逻辑。 - 性能调优:包括批处理、缓冲、重试策略、线程池设置等,以提高消息处理速度和系统...
在IT行业中,Kafka是一种广泛使用的分布式流处理平台,它由Apache软件基金会开发,主要用于构建实时数据管道和流应用。本文将围绕标题和描述中提到的两种Kafka工具——kafkatool-64bit.exe和kafka-eagle-bin-1.4.6....
在配置Kafka .Net时,你需要指定服务器地址(或多个服务器的地址以实现高可用)、主题名、消息序列化方式等参数。Kafka支持多种序列化格式,包括JSON、Avro等,.Net库也提供了相应的序列化器。 `Confluent.Kafka`是...
Kafka是由LinkedIn开发并贡献给Apache软件基金会的一个开源消息系统,它是一个高性能、可扩展的分布式消息中间件。Kafka最初设计的目标是处理网站活动流数据,但随着时间的发展,它已被广泛应用于大数据实时处理、...
4. **监控与警报**:监控broker的性能指标,如CPU、内存使用情况,设置警报阈值以及时发现异常。 5. **消费者管理**:查看消费者组的订阅和消费进度,帮助理解数据流动情况。 6. **配置管理**:修改Kafka的配置参数...
Kafka是由LinkedIn开发并贡献给Apache软件基金会的一个开源分布式流处理平台。它的设计目标是成为一个高吞吐、低延迟的消息系统,能够处理海量实时数据。Kafka作为一个分布式消息中间件,它在大数据领域扮演着重要的...
3. **报警机制**:当Kafka集群出现异常或性能下降时,Kafka Eagle能够及时发出报警,帮助管理员快速定位问题。 4. **性能优化**:Kafka Eagle提供了性能分析工具,能够根据实际情况给出优化建议,如调整Replication...
5. **异常处理与关闭**: 在处理消息的过程中,应处理可能的异常,如取消令牌或Kafka错误。在完成消费后,记得调用`consumer.Close()`。 **完整Demo** 在`kafka-net-demo`压缩包中,你将找到一个完整的C# Kafka发送...
3. **连接池管理**:连接池需要监控连接的状态,确保连接的有效性,当检测到连接异常时,会自动移除并重新创建新的连接。 4. **连接扩展**:当连接池中的连接被全部占用时,如果请求量持续增加,连接池可能会根据...
Apache Kafka是一款分布式流处理平台,由LinkedIn开发并贡献给Apache软件基金会。Kafka作为一个强大的消息系统,它在大数据生态系统中扮演着重要的角色,广泛应用于实时数据流处理、日志聚合、用户行为追踪等多个...
Kafka-Manager是一款由Yahoo开发并开源的管理工具,专门用于简化Apache Kafka集群的管理和监控。这个工具提供了直观的Web界面,使得用户可以方便地进行各种操作,包括但不限于集群状态查看、主题管理、消费者组管理...
在本压缩包“Kafka客户端开发实例java源码.zip”中,包含的是使用Java语言编写的Kafka客户端应用示例代码。Kafka是一款高吞吐量、分布式的消息系统,广泛应用于大数据实时处理、日志收集等领域。这个实例将帮助我们...
Kafka是一款开源的分布式消息系统,由LinkedIn开发并贡献给了Apache软件基金会。它被设计为高吞吐量、低延迟的实时处理平台,用于处理和存储大量的流式数据。Kafka监控程序是针对Kafka集群进行性能监控的重要工具,...
.NET CORE 代码使用 Kafka 推送数据涉及到一系列关键知识点,主要涵盖 .NET Core 开发环境、Kafka 概念、Confluent.Kafka .NET 客户端库以及消息生产和消费的实现。以下是对这些主题的详细解释: 1. **.NET Core**...
Kafka是一款开源的分布式消息中间件,由Apache软件基金会开发,主要用于构建实时数据管道和流应用程序。它具有高吞吐量、可扩展性、持久性和容错性等特性,广泛应用于大数据领域。在这个“Kafka Test”小程序中,...
在日常项目中,作为Kafka消费者,我们可以利用这款工具生成特定格式或内容的报文,以此来测试消费者的消费能力和异常处理机制。 在了解工具的使用前,我们需要先理解Kafka的基本概念。Kafka是一种分布式流处理平台...
4. **故障检测与修复**:当Kafka集群中出现异常时,如节点宕机或数据不一致,Kafka-Manager能快速发现这些问题,并提供修复建议,帮助管理员迅速恢复服务。 5. **配置调整**:通过Kafka-Manager,管理员可以直接...
10. **报警与通知**:当集群出现异常时,Cmak可以发送报警通知,及时提醒管理员处理问题。 **Cmak-3.0.0.5** 版本可能包含以下改进和新特性: - 性能提升:优化了后台处理和UI响应速度,提升了整体用户体验。 - ...
总结来说,这个系统构建了一个完整的数据流处理链路,从数据采集(Flume)、中间缓存(Kafka)、实时处理(Spark-Streaming)到数据存储(HBase),实现了高效、实时的日志分析和异常检测。这样的架构在现代大数据...