`
conkeyn
  • 浏览: 1525040 次
  • 性别: Icon_minigender_1
  • 来自: 厦门
社区版块
存档分类
最新评论

Kafka开发时的异常

 
阅读更多

 

 

1、遇到Producer connection to hostname:9092 unsuccessful

 

14/12/29 11:57:39 INFO utils.VerifiableProperties: Verifying properties
14/12/29 11:57:39 INFO utils.VerifiableProperties: Property metadata.broker.list is overridden to master001:9092,master001:9092
14/12/29 11:57:39 INFO utils.VerifiableProperties: Property serializer.class is overridden to kafka.serializer.StringEncoder
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/E:/maven_repo/repository/ch/qos/logback/logback-classic/1.0.13/logback-classic-1.0.13.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/E:/maven_repo/repository/org/slf4j/slf4j-log4j12/1.6.1/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [ch.qos.logback.classic.util.ContextSelectorStaticBinder]
14/12/29 11:57:39 INFO client.ClientUtils$: Fetching metadata from broker id:1,host:master001,port:9092 with correlation id 0 for 1 topic(s) Set(topicName)
14/12/29 11:57:41 ERROR producer.SyncProducer: Producer connection to master001:9092 unsuccessful
java.nio.channels.UnresolvedAddressException
	at sun.nio.ch.Net.checkAddress(Net.java:127)
	at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:640)
	at kafka.network.BlockingChannel.connect(BlockingChannel.scala:57)
	at kafka.producer.SyncProducer.connect(SyncProducer.scala:141)
	at kafka.producer.SyncProducer.getOrMakeConnection(SyncProducer.scala:156)
	at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:68)
	at kafka.producer.SyncProducer.send(SyncProducer.scala:112)
	at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:53)
	at kafka.producer.BrokerPartitionInfo.updateInfo(BrokerPartitionInfo.scala:82)
	at kafka.producer.async.DefaultEventHandler$$anonfun$handle$1.apply$mcV$sp(DefaultEventHandler.scala:67)
	at kafka.utils.Utils$.swallow(Utils.scala:167)
	at kafka.utils.Logging$class.swallowError(Logging.scala:106)
	at kafka.utils.Utils$.swallowError(Utils.scala:46)
	at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:67)
	at kafka.producer.Producer.send(Producer.scala:76)
	at kafka.javaapi.producer.Producer.send(Producer.scala:33)
	at kafka.examples.Producer.run(Producer.java:46)

 解决办法:

    寻找linux下的/etc/hosts和window下的C:\Windows\System32\drivers\etc\hosts所有IP地址与主机名是否配置正确。

    最后发现一个低级错误,window下的hostname配置IP地址错误了。

 

192.168.0.36    hadoop.main
192.168.0.146   hadoop.slave1
192.168.0.142   slave001
192.168.146   master001

 注意:192.168.146   master001

 

 

 

分享到:
评论

相关推荐

    kafka集群Java开发jar包

    Java是Kafka开发的常用语言,因为它具有丰富的库支持和广泛的应用场景。在Java中与Kafka交互通常需要使用到`kafka-clients`和`zookeeper-client`相关的jar包。 标题中的"Kafka集群Java开发jar包"指的是使用Java进行...

    java开发kafka-clients所需要的所有jar包以及源码

    - 异常处理:了解Kafka-clients可能抛出的异常类型,如`KafkaException`、`RetriableException`等,编写合适的错误处理逻辑。 - 性能调优:包括批处理、缓冲、重试策略、线程池设置等,以提高消息处理速度和系统...

    kafka2种工具 kafkatool-64bit.exe kafka-eagle-bin-1.4.6.tar.gz

    在IT行业中,Kafka是一种广泛使用的分布式流处理平台,它由Apache软件基金会开发,主要用于构建实时数据管道和流应用。本文将围绕标题和描述中提到的两种Kafka工具——kafkatool-64bit.exe和kafka-eagle-bin-1.4.6....

    Kafka .Net Framework4.0 版本

    在配置Kafka .Net时,你需要指定服务器地址(或多个服务器的地址以实现高可用)、主题名、消息序列化方式等参数。Kafka支持多种序列化格式,包括JSON、Avro等,.Net库也提供了相应的序列化器。 `Confluent.Kafka`是...

    Kafka尚硅谷.rar

    Kafka是由LinkedIn开发并贡献给Apache软件基金会的一个开源消息系统,它是一个高性能、可扩展的分布式消息中间件。Kafka最初设计的目标是处理网站活动流数据,但随着时间的发展,它已被广泛应用于大数据实时处理、...

    kafka-manager-2.0.0.2.zip

    4. **监控与警报**:监控broker的性能指标,如CPU、内存使用情况,设置警报阈值以及时发现异常。 5. **消费者管理**:查看消费者组的订阅和消费进度,帮助理解数据流动情况。 6. **配置管理**:修改Kafka的配置参数...

    kafka-2.13-3.7.0.tgz

    Kafka是由LinkedIn开发并贡献给Apache软件基金会的一个开源分布式流处理平台。它的设计目标是成为一个高吞吐、低延迟的消息系统,能够处理海量实时数据。Kafka作为一个分布式消息中间件,它在大数据领域扮演着重要的...

    kafka-eagle-2.0.8.tar.gz

    3. **报警机制**:当Kafka集群出现异常或性能下降时,Kafka Eagle能够及时发出报警,帮助管理员快速定位问题。 4. **性能优化**:Kafka Eagle提供了性能分析工具,能够根据实际情况给出优化建议,如调整Replication...

    c#kafka 发送与接收

    5. **异常处理与关闭**: 在处理消息的过程中,应处理可能的异常,如取消令牌或Kafka错误。在完成消费后,记得调用`consumer.Close()`。 **完整Demo** 在`kafka-net-demo`压缩包中,你将找到一个完整的C# Kafka发送...

    kafka生产者连接池

    3. **连接池管理**:连接池需要监控连接的状态,确保连接的有效性,当检测到连接异常时,会自动移除并重新创建新的连接。 4. **连接扩展**:当连接池中的连接被全部占用时,如果请求量持续增加,连接池可能会根据...

    Kafka全套学习笔记.zip

    Apache Kafka是一款分布式流处理平台,由LinkedIn开发并贡献给Apache软件基金会。Kafka作为一个强大的消息系统,它在大数据生态系统中扮演着重要的角色,广泛应用于实时数据流处理、日志聚合、用户行为追踪等多个...

    kafka-manager管理工具

    Kafka-Manager是一款由Yahoo开发并开源的管理工具,专门用于简化Apache Kafka集群的管理和监控。这个工具提供了直观的Web界面,使得用户可以方便地进行各种操作,包括但不限于集群状态查看、主题管理、消费者组管理...

    Kafka客户端开发实例java源码.zip

    在本压缩包“Kafka客户端开发实例java源码.zip”中,包含的是使用Java语言编写的Kafka客户端应用示例代码。Kafka是一款高吞吐量、分布式的消息系统,广泛应用于大数据实时处理、日志收集等领域。这个实例将帮助我们...

    Kafka监控程序附带测试代码

    Kafka是一款开源的分布式消息系统,由LinkedIn开发并贡献给了Apache软件基金会。它被设计为高吞吐量、低延迟的实时处理平台,用于处理和存储大量的流式数据。Kafka监控程序是针对Kafka集群进行性能监控的重要工具,...

    .NET CORE 代码使用kafka推送数据

    .NET CORE 代码使用 Kafka 推送数据涉及到一系列关键知识点,主要涵盖 .NET Core 开发环境、Kafka 概念、Confluent.Kafka .NET 客户端库以及消息生产和消费的实现。以下是对这些主题的详细解释: 1. **.NET Core**...

    Kafka 测试小程序

    Kafka是一款开源的分布式消息中间件,由Apache软件基金会开发,主要用于构建实时数据管道和流应用程序。它具有高吞吐量、可扩展性、持久性和容错性等特性,广泛应用于大数据领域。在这个“Kafka Test”小程序中,...

    kafka报文模拟工具

    在日常项目中,作为Kafka消费者,我们可以利用这款工具生成特定格式或内容的报文,以此来测试消费者的消费能力和异常处理机制。 在了解工具的使用前,我们需要先理解Kafka的基本概念。Kafka是一种分布式流处理平台...

    kafka-manager 1.3.3.15

    4. **故障检测与修复**:当Kafka集群中出现异常时,如节点宕机或数据不一致,Kafka-Manager能快速发现这些问题,并提供修复建议,帮助管理员迅速恢复服务。 5. **配置调整**:通过Kafka-Manager,管理员可以直接...

    Kafka Manager Cmak-3.0.0.5

    10. **报警与通知**:当集群出现异常时,Cmak可以发送报警通知,及时提醒管理员处理问题。 **Cmak-3.0.0.5** 版本可能包含以下改进和新特性: - 性能提升:优化了后台处理和UI响应速度,提升了整体用户体验。 - ...

    基于Spark的实时日志分析及异常检测系统 Flume + Kafka + Hbase + Spark-Streaming

    总结来说,这个系统构建了一个完整的数据流处理链路,从数据采集(Flume)、中间缓存(Kafka)、实时处理(Spark-Streaming)到数据存储(HBase),实现了高效、实时的日志分析和异常检测。这样的架构在现代大数据...

Global site tag (gtag.js) - Google Analytics