`

storm Async loop died! & reconnect

阅读更多

storm 在有supervisor重启的时候,topology报错,导致所有spout不消费:

 

2015-07-15T09:48:26.470+0800 b.s.util [ERROR] Async loop died!
java.lang.RuntimeException: java.lang.RuntimeException: Client is being closed, and does not take requests any more
        at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:128) ~[storm-core-0.9.3.jar:0.9.3]
        at backtype.storm.utils.DisruptorQueue.consumeBatchWhenAvailable(DisruptorQueue.java:99) ~[storm-core-0.9.3.jar:0.9.3]
        at backtype.storm.disruptor$consume_batch_when_available.invoke(disruptor.clj:80) ~[storm-core-0.9.3.jar:0.9.3]
        at backtype.storm.disruptor$consume_loop_STAR_$fn__1460.invoke(disruptor.clj:94) ~[storm-core-0.9.3.jar:0.9.3]
        at backtype.storm.util$async_loop$fn__464.invoke(util.clj:463) ~[storm-core-0.9.3.jar:0.9.3]
        at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na]
        at java.lang.Thread.run(Thread.java:745) [na:1.7.0_75]
Caused by: java.lang.RuntimeException: Client is being closed, and does not take requests any more
        at backtype.storm.messaging.netty.Client.send(Client.java:185) ~[storm-core-0.9.3.jar:0.9.3]
        at backtype.storm.utils.TransferDrainer.send(TransferDrainer.java:54) ~[storm-core-0.9.3.jar:0.9.3]
        at backtype.storm.daemon.worker$mk_transfer_tuples_handler$fn__3730$fn__3731.invoke(worker.clj:330) ~[storm-core-0.9.3.jar:0.9.3]
        at backtype.storm.daemon.worker$mk_transfer_tuples_handler$fn__3730.invoke(worker.clj:328) ~[storm-core-0.9.3.jar:0.9.3]
        at backtype.storm.disruptor$clojure_handler$reify__1447.onEvent(disruptor.clj:58) ~[storm-core-0.9.3.jar:0.9.3]
        at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:125) ~[storm-core-0.9.3.jar:0.9.3]
        ... 6 common frames omitted
2015-07-15T09:48:26.507+0800 b.s.util [ERROR] Halting process: ("Async loop died!")
java.lang.RuntimeException: ("Async loop died!")
        at backtype.storm.util$exit_process_BANG_.doInvoke(util.clj:325) [storm-core-0.9.3.jar:0.9.3]
        at clojure.lang.RestFn.invoke(RestFn.java:423) [clojure-1.5.1.jar:na]
        at backtype.storm.disruptor$consume_loop_STAR_$fn__1458.invoke(disruptor.clj:92) [storm-core-0.9.3.jar:0.9.3]
        at backtype.storm.util$async_loop$fn__464.invoke(util.clj:473) [storm-core-0.9.3.jar:0.9.3]
        at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na]
        at java.lang.Thread.run(Thread.java:745) [na:1.7.0_75]

 在日志上边,大量reconnection

 Reconnect started for Netty-Client-hostxx/ip:6703... [91]
 Reconnect started for Netty-Client-hostxx/ip:6703... [92]
 Reconnect started for Netty-Client-hostxx/ip:6703... [93]
 Reconnect started for Netty-Client-hostxx/ip:6703... [94]
 Reconnect started for Netty-Client-hostxx/ip:6703... [95]
 Reconnect started for Netty-Client-hostxx/ip:6703... [96]
 Reconnect started for Netty-Client-hostxx/ip:6703... [97]
 Reconnect started for Netty-Client-hostxx/ip:6703... [98]
 Reconnect started for Netty-Client-hostxx/ip:6703... [99]

 登录到ip,发现6703端口有两个worker,导致一个work端口被占用(之前supervisor重启work没有关闭,bug,待解决)

解决:删除重复的端口的worker,让topology自动用其他work

 

 

 

分享到:
评论

相关推荐

    Asyncloop异步迭代大数据并且没有阻塞事件循环

    1. **事件循环(Event Loop)** - 事件循环是JavaScript引擎的核心机制之一,它基于`Event-Based`或`Callback-based`编程模型。 - 事件循环分为多个阶段:宏任务(Macro-task)和微任务(Micro-task)。宏任务包括`...

    QQ城市查询助手+两个免费接口

    给你们接口,给点评分呀 http://yundong.qxxxxxxxnter/guest?_wv=2172899&asyncMode=1&uin=QQ号 只在QQ中打开 http://city2.aitxxxxxxn/?qq=QQ号 这个可以在网页打开

    TurboPower Async Professional(重新上传)

    We are finally done with release candidates. The components seem to be quite stable now. This release contains a few minor enhancements. Enhancements ------------ ShowException is no long used to ...

    profiled-chan

    ( require '[clojure.core.async :refer [chan >!! <!! thread]] '[profiled-chan.api :refer [profiled-chan recorders]]) ( let [chan ( profiled-chan ( chan )) writer ( thread ( dotimes [n 1000 ] ( >...

    QQ数据关联查询

    通过群资料查询他人姓名。 谨慎使用。

    react-script-async:一种简单的加载方式 tags through render props

    npm install react-script-async 或者 yarn add react-script-async 这个怎么运作 该库使用渲染道具来渲染某些元素,无论是否加载了脚本。 通常会传递给常规[removed]标记的所有道具都将传递。 import React from ...

    You Don't Know JS- Async & Performance(O'Reilly,2015)

    Like other books in this series, You Don't Know JS: Async & Performance dives into trickier parts of the language that many JavaScript programmers simply avoid. Armed with this knowledge, you can ...

    ketu:具有core.async集成的Clojure Kafka客户端

    最小的例子消费来自kafka的名称字符串,并通过所有渠道为该名称产生一个问候字符串,将其返回到kafka中: ( ns example ( :require [clojure.core.async :refer [chan close! <!! >!!]] [ketu.async.source :a

    python async with和async for的使用

    网上async with和async for的中文资料比较少,我把PEP 492中的官方陈述翻译一下。 异步上下文管理器”async with” 异步上下文管理器指的是在enter和exit方法处能够暂停执行的上下文管理器。 为了实现这样的功能,...

    Android Async-Http Demo

    "Android Async-Http Demo"是一个基于Android平台的示例项目,展示了如何使用Async-Http库来实现高效、非阻塞的HTTP网络请求。这个Demo旨在帮助开发者理解并实践异步HTTP通信的基本原理和最佳实践。 Async-Http库,...

    Async32 for delphi

    Async32 for Delphi 是一个针对 Delphi 开发环境的异步编程库,它提供了强大的功能,使得开发者能够在 Delphi 应用程序中轻松实现非阻塞的异步操作。异步编程是一种允许代码在等待某些操作完成时继续执行其他任务的...

    TMS Async32 1.9.1.1 Full Source D5-DX10.3 Rio.zip

    《Delphi VaComm串口使用:深入解析TMS Async32控件》 在软件开发领域,尤其是在工业控制、通信设备以及数据采集等应用中,串口通信扮演着至关重要的角色。Delphi作为一款强大的面向对象的编程环境,提供了丰富的库...

    Ruby-Async是基于nio4r和定时器的Ruby的可组合的异步IO框架

    2. **事件循环(Event Loop)**:Ruby-Async中的事件循环负责管理所有的异步操作,监控I/O事件,并根据需要调用相应的回调函数。事件循环是异步编程的心脏,它确保了所有任务的有序执行。 3. **组合性...

    JAVA 中Spring的@Async用法总结

    JAVA 中Spring的@Async用法总结 在 Java 应用中,绝大多数情况下都是通过同步的方式来实现交互处理的,但是在处理与第三方系统交互的时候,容易造成响应迟缓的情况。之前大部分都是使用多线程来完成此类任务,但是...

    async/await异步处理demo

    `async/await`是ES2017引入的一种更优雅、更易读的异步编程方式,它极大地改善了传统的回调函数和Promise链式调用的复杂性。下面我们将深入探讨`async/await`的原理、用法以及如何在实际项目中应用。 `async`关键字...

    async4j+commons-logging

    `async4j` 的核心是`EventLoop`,这是一个线程池,用于调度和执行任务。通过注册回调函数,开发者可以定义在特定事件(如数据接收完成或连接建立成功)发生时要执行的操作。 另一方面,`commons-logging` 提供了一...

    jscex.async.js

    var drawAsync = eval&...Jscex.compile("async", function () { while (true) { that.context.drawImage(that.offCanvas, 0, 0,that.canvas.width,that.canvas.height); $await(Jscex.Async.sleep(50)); } }))

    async-web-server-cpp ros1

    async-web-server-cpp 是一个基于 C++ 实现的异步 Web 服务器库,它专为 ROS1(Robot Operating System 1)环境设计。ROS 是一个开源操作系统,主要用于机器人硬件和软件系统的开发、测试和部署。ROS1 是 ROS 的第一...

    AsyncCalls(异步调用函数)

    "AsyncCalls"是Delphi中一个专门用于实现异步调用功能的单元,它包含了一系列的函数和类,帮助开发者轻松地创建非阻塞的异步操作。通过这个单元,我们可以避免因为等待某个操作完成而导致程序冻结的情况,提高应用...

    android-async-http-1.4.9下载

    在Android应用开发中,网络通信是必不可少的一部分,而`android-async-http`库是一个非常流行的异步HTTP客户端库,特别适合处理与服务器的交互。这个库由Leonardo Uribe创建,它提供了简单易用的API,使开发者可以...

Global site tag (gtag.js) - Google Analytics