`

storm supervisor 异常关机后 不能启动Error when processing event

阅读更多

 

 

2015-06-06 02:32:42 event [ERROR] Error when processing event
java.lang.RuntimeException: java.io.EOFException
        at backtype.storm.utils.Utils.deserialize(Utils.java:68)
        at backtype.storm.utils.LocalState.snapshot(LocalState.java:24)
        at backtype.storm.utils.LocalState.get(LocalState.java:28)
        at backtype.storm.daemon.supervisor$sync_processes.invoke(supervisor.clj:192)
        at clojure.lang.AFn.applyToHelper(AFn.java:161)
        at clojure.lang.AFn.applyTo(AFn.java:151)
        at clojure.core$apply.invoke(core.clj:603)
        at clojure.core$partial$fn__4070.doInvoke(core.clj:2343)
        at clojure.lang.RestFn.invoke(RestFn.java:397)
        at backtype.storm.event$event_manager$fn__2507.invoke(event.clj:24)
        at clojure.lang.AFn.run(AFn.java:24)
        at java.lang.Thread.run(Thread.java:662)
Caused by: java.io.EOFException
        at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2280)
        at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:2749)
        at java.io.ObjectInputStream.readStreamHeader(ObjectInputStream.java:779)
        at java.io.ObjectInputStream.<init>(ObjectInputStream.java:279)
        at backtype.storm.utils.Utils.deserialize(Utils.java:63)
        ... 11 more
2015-06-06 02:32:42 event [ERROR] Error when processing event
java.lang.RuntimeException: java.io.EOFException
        at backtype.storm.utils.Utils.deserialize(Utils.java:68)
        at backtype.storm.utils.LocalState.snapshot(LocalState.java:24)
        at backtype.storm.utils.LocalState.get(LocalState.java:28)
        at backtype.storm.daemon.supervisor$mk_synchronize_supervisor$this__4716.invoke(supervisor.clj:277)
        at backtype.storm.event$event_manager$fn__2507.invoke(event.clj:24)
        at clojure.lang.AFn.run(AFn.java:24)
        at java.lang.Thread.run(Thread.java:662)
Caused by: java.io.EOFException
        at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2280)
        at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:2749)
        at java.io.ObjectInputStream.readStreamHeader(ObjectInputStream.java:779)
        at java.io.ObjectInputStream.<init>(ObjectInputStream.java:279)
        at backtype.storm.utils.Utils.deserialize(Utils.java:63)
        ... 6 more
2015-06-06 02:32:42 util [INFO] Halting process: ("Error when processing an event")

 

http://blog.csdn.net/w13770269691/article/details/38733981

参考上文章,storm.yaml未配置storm.local.dir目录

 

在storm jar包中 defaults.yaml 有 storm.local.dir: "storm-local"

清空 linux 中 bin/storm-local/ 解决问题。

 

./storm supervisor >/dev/null 2>&1 &

 

 

分享到:
评论
1 楼 feibabm 2016-12-26  
 

相关推荐

    supervisor-event-listener:Supervisor事件通知, 支持邮件, Slack, WebHook

    supervisor-event-listener Supervisor事件通知, 支持邮件, Slack, WebHook 简介 Supervisor是*nix环境下的进程管理工具, 可以把前台进程转换为守护进程, 当进程异常退出时自动重启. supervisor-event-listener监听...

    apache-storm-2.4.0.tar.gz

    描述中的 "帮助不能下载的同学下载storm安装包" 表明这个文件是为那些无法正常下载 Apache Storm 的人提供的,可能是因为网络问题或其他原因导致的下载失败。 在标签中,"storm 安装包" 暗示了这个文件的用途,即它...

    supervisor-3.4.0.tar.gz

    `supervisor` 是一个用Python编写的进程管理工具,它能让你在Linux系统中方便地管理和控制后台进程。在IT行业中,`supervisor` 被广泛用于部署Web应用、后台服务和其他需要长时间运行的进程,因为它提供了监控、自动...

    storm1.1.0版本单节点部署

    启动所有服务后,可以通过浏览器访问 `http://localhost:8080` 来查看 Storm UI,如果一切正常,你应该能看到一个空的集群状态页面。此时,你已经成功部署了 Storm 1.1.0 的单节点实例。 五、扩展和优化 虽然单节点...

    supervisor安装包

    1. **多进程管理**:它能启动、停止、重启单个进程或一组进程,并且可以监视进程状态,确保进程在异常退出后自动重启。 2. **远程控制**:通过网络接口,Supervisor 提供了基于 HTTP 的 API,可以远程控制进程状态...

    storm部署(包括所有依赖rpm包、集群搭建详解)

    6. **启动Supervisor**:在所有工作节点上,执行`storm supervisor`启动Supervisor服务。 7. **启动UI**:在任意节点(通常与Nimbus在同一节点)上,执行`storm ui`启动Web UI服务。可以通过浏览器访问`...

    细细品味Storm_Storm简介及安装

    ### Storm简介及安装知识点梳理 #### 一、Storm简介 **Storm** 是一款由BackType公司开发的分布式实时计算系统,后被Twitter收购并开源。它主要用于处理大规模的数据流,能够简单、高效、可靠地处理实时数据。...

    storm集群启动与停止脚本共2页.pdf.zip

    【标题】"storm集群启动与停止脚本共2页.pdf.zip" 提供的是一份关于storm集群管理的文档,主要涵盖了如何启动和停止storm集群的关键步骤。Storm是Apache开源的一个分布式实时计算系统,它能够处理大规模的数据流并...

    supervisor-3.3.1离线安装包

    标题中的"supervisor-3.3.1离线安装包"指的是一个包含了Supervisor 3.3.1版本的完整安装资源的压缩文件,适用于那些无法连接到互联网或者需要离线部署环境的情况。Supervisor是一个用Python编写的进程管理工具,它能...

    storm0.9.0 linux安装包

    4. **启动服务**:运行`bin/storm nimbus`启动Nimbus服务,然后运行`bin/storm supervisor`启动Supervisor服务。为了使Storm UI可用,还需要运行`bin/storm ui`。 5. **部署拓扑**:一旦集群运行起来,你可以使用`...

    Storm Real Time Processing Cookbook英文版

    - **Supervisor**:工作节点,根据Nimbus的指令启动和监控执行任务的工作进程。 - **Zookeeper**:协调服务,用于维护集群状态和协调任务调度。 ### 实时数据流处理 Storm提供了低延迟的数据处理能力,使其成为...

    Supervisor守护进程离线脚本无脑安装

    6. **设置开机启动**:为了确保系统重启后Supervisor能自动启动,还需要将其添加为开机启动服务。这通常可以通过`sudo systemctl enable supervisord`或`sudo chkconfig supervisord on`(取决于你的Linux发行版)来...

    supervisor在linux环境下的离线安装包

    `Supervisor` 是一个在 Linux 系统中广泛使用的进程管理工具,它允许你通过一个简单的命令行界面或网络接口来启动、停止、监控和控制后台进程。在没有网络连接的环境中,离线安装 `Supervisor` 变得尤为重要。这个...

    storm安装包

    5. **启动Storm**:启动Nimbus和Supervisor。 ```bash cd $STORM_HOME bin/storm nimbus bin/storm supervisor ``` 6. **配置Storm**:根据你的集群需求,可能需要修改`conf/storm.yaml`配置文件,如nimbus...

    supervisor 安装与配置.zip

    - `autostart`和`autorestart`设置为true表示进程在Supervisor启动时启动,并在崩溃后自动重启。 - `startretries`指定了在启动失败时尝试的次数。 - `user`是你希望运行进程的用户。 - `environment`可以设置环境...

    Storm入门到精通

    * Supervisor:Storm 的工作节点,负责执行拓扑结构。 * Worker:Storm 的执行节点,负责执行具体的计算任务。 Storm 属性 Storm 的主要属性包括: * fault-tolerant:Storm 可以自动恢复故障节点,保证系统的高...

    Storm 源码分析

    当用户提交一个Topology任务后,Nimbus会将该Topology分配给一个或多个Supervisor节点,Supervisor再在本地启动Worker进程执行Topology。每个Worker进程都会有自己的Spout和Bolt实例,这些实例通过Stream进行交互。 ...

    storm的jar包

    在Storm中,数据流被抽象为持续不断的Tuple(元组)序列,这些Tuple在网络中的worker节点间进行分布式处理,保证每个消息至少被处理一次(At-Least-Once Processing Guarantees)。这使得Storm非常适合于实时数据...

Global site tag (gtag.js) - Google Analytics