`
superlxw1234
  • 浏览: 552313 次
  • 性别: Icon_minigender_1
  • 来自: 西安
博客专栏
Bd1c0a0c-379a-31a8-a3b1-e6401e2f1523
Hive入门
浏览量:44544
社区版块
存档分类
最新评论

Storm因机器断电等,启动supervisor错误

阅读更多

因机器断电或其他异常导致的supervisor意外终止,再次启动时报错:

 

2013-09-24 09:15:44,361 INFO  [main] daemon.supervisor (NO_SOURCE_FILE:invoke(0)) - Starting supervisor with id 74332654-8925-48a1-b67b-7eacaa52aeca at host hadoop02
2013-09-24 09:15:45,246 ERROR [Thread-2] storm.event (NO_SOURCE_FILE:invoke(0)) - Error when processing event
java.lang.RuntimeException: java.io.EOFException
        at backtype.storm.utils.Utils.deserialize(Utils.java:68)
        at backtype.storm.utils.LocalState.snapshot(LocalState.java:28)
        at backtype.storm.utils.LocalState.get(LocalState.java:39)
        at backtype.storm.daemon.supervisor$sync_processes.invoke(supervisor.clj:187)
        at clojure.lang.AFn.applyToHelper(AFn.java:161)
        at clojure.lang.AFn.applyTo(AFn.java:151)
        at clojure.core$apply.invoke(core.clj:603)
        at clojure.core$partial$fn__4070.doInvoke(core.clj:2343)
        at clojure.lang.RestFn.invoke(RestFn.java:397)
        at backtype.storm.event$event_manager$fn__3058.invoke(event.clj:24)
        at clojure.lang.AFn.run(AFn.java:24)
        at java.lang.Thread.run(Thread.java:662)
Caused by: java.io.EOFException
        at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2284)
        at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:2753)
        at java.io.ObjectInputStream.readStreamHeader(ObjectInputStream.java:777)
        at java.io.ObjectInputStream.<init>(ObjectInputStream.java:277)
        at backtype.storm.utils.Utils.deserialize(Utils.java:63)
        ... 11 more
2013-09-24 09:15:45,260 INFO  [Thread-2] storm.util (NO_SOURCE_FILE:invoke(0)) - Halting process: ("Error when processing an event")

 

解决办法:

删除storm.yaml中配置的storm.local.dir指向的目录中的supervisor和workers两个目录,再次启动即可。

 

0
5
分享到:
评论

相关推荐

    storm集群启动与停止脚本共2页.pdf.zip

    5. **启动Supervisor**:在所有worker节点上运行`storm supervisor`命令,启动Supervisor服务。 6. **启动UI**:可选步骤,运行`storm ui`来启动Web界面,用于监控集群状态。 停止storm集群的过程相对简单,基本...

    storm1.1.0版本单节点部署

    在单节点部署中,所有的 Storm 组件,包括 Nimbus、Supervisor 和 UI,都将运行在同一台机器上,适合于开发环境或简单测试。以下是详细的部署步骤: 一、安装介质准备 首先,你需要访问 Apache Storm 的官方网站 ...

    storm0.9.0 linux安装包

    4. **启动服务**:运行`bin/storm nimbus`启动Nimbus服务,然后运行`bin/storm supervisor`启动Supervisor服务。为了使Storm UI可用,还需要运行`bin/storm ui`。 5. **部署拓扑**:一旦集群运行起来,你可以使用`...

    细细品味Storm_Storm简介及安装

    - **配置**:编辑配置文件`storm.yaml`,设置Nimbus和Supervisor等关键参数。 **2.4 集成Kafka** 如果需要从Kafka获取数据流,还需要安装Kafka并与Storm集成。此过程包括Kafka的安装、配置以及开发适配器。 **2.5...

    storm安装软件包

    5. **启动Supervisor**:在所有Supervisor节点上,执行`bin/storm supervisor`命令启动Supervisor服务。 6. **启动UI**:执行`bin/storm ui`命令启动Storm的Web UI,可以通过浏览器访问监控Storm集群的状态。 7. *...

    apache-storm-2.4.0.tar.gz

    4. 使用 `bin/storm nimbus` 和 `bin/storm supervisor` 分别启动 Nimbus 和 Supervisor 服务。 5. 如果需要,启动 UI 服务 `bin/storm ui` 以监控 Storm 集群的状态。 6. 开发拓扑(Topology)并部署到集群,这通常...

    批量下载】storm环境搭建v1等.zip

    2. **环境搭建**:在本地或集群上设置Storm环境需要安装JDK,配置环境变量,下载Storm的安装包,解压并启动Nimbus(主节点)、Supervisor(工作节点)和服务监控界面UI。 3. **Hadoop集成**:Storm可以与Hadoop生态...

    supervisor安装包

    4. **启动 Supervisord**:运行 `supervisord` 命令启动 Supervisor 服务。 5. **控制进程**:使用 `supervisorctl` 工具来管理进程,如添加、删除、启动、停止进程。 6. **配置开机启动**:设置 Supervisord 在...

    storm深入学习.pdf

    三、Storm启动和测试 1. 启动Storm:使用Storm的启动脚本启动Storm服务。 2. 测试Storm:使用Storm的测试工具测试Storm的正确性。 四、Storm深入学习 Storm是一个分布式实时计算系统,可以实时处理大量数据。...

    supervisor-3.4.0.tar.gz

    7. **故障恢复**:如果进程因为错误或者异常退出,`supervisor` 将尝试按照预设的策略重启它,确保服务的高可用性。 安装 `supervisor` 一般通过包管理器完成,例如在Ubuntu上使用`apt-get install supervisor`,在...

    storm部署(包括所有依赖rpm包、集群搭建详解)

    6. **启动Supervisor**:在所有工作节点上,执行`storm supervisor`启动Supervisor服务。 7. **启动UI**:在任意节点(通常与Nimbus在同一节点)上,执行`storm ui`启动Web UI服务。可以通过浏览器访问`...

    storm原理分析

    3. **Storm/assignments/**:存储 Nimbus 为每个 Topology 分配的任务信息,包括本地存储目录、分配到的 Supervisor 机器映射关系、每个 Executor 所在 Worker 位置及启动时间等。 4. **Storm/supervisors/...

    storm-1.1.1.tar.gz

    Apache Storm的设计目标是处理大规模数据流,提供低延迟、高吞吐量的数据处理能力,常用于实时分析、在线机器学习、持续计算、大数据处理等领域。 描述中提到的"使用zookeeper-3.4.10.tar.gz"表明在搭建Storm集群时...

    supervisor-3.3.1离线安装包

    2. `守护工具配置.doc`:这可能是一个文档,详细介绍了如何配置和使用Supervisor作为守护进程来管理你的程序,包括启动、停止、重启进程等操作,以及如何配置Supervisor以满足特定需求。 3. `supervisor-3.3.1.tar....

    storm0.9x安装所需所有包(全)

    4. **启动脚本**:如`storm nimbus`、`storm supervisor`等,这些脚本用于启动Storm的各种服务,如Nimbus(主控节点)、Supervisor(工作节点)。 5. **示例代码**:可能包含一些示例拓扑,帮助初学者理解如何构建...

    storm1.2.1-单机部署,运行自己开发的jar

    在运行拓扑之前,确保你的`storm.yaml`配置文件没有错误,并且Nimbus和Supervisor都在正常运行。然后,使用`storm jar`命令提交你的拓扑到Storm集群: ```bash storm jar my_topology.jar com.example.MyTopology `...

    Storm源码走读笔记

    Storm集群由Nimbus、Supervisor、ZooKeeper等组件组成,Nimbus负责资源的分配和任务调度,Supervisor负责执行任务,ZooKeeper负责集群的状态维护。 本文档是关于Storm源码的详细走读笔记,主要分析了Storm的启动...

    storm 流式处理 安装软件(包括zookeeper,jzmq,zeroMQ,storm)

    流式处理作为一种高效的数据处理方式,广泛应用于大数据实时分析、在线机器学习以及互联网实时推送等领域。Storm作为Apache软件基金会的顶级项目,是一个分布式、容错的实时计算系统,能够处理无界数据流,确保每个...

    storm1.0 搭建

    - 在 Supervisor 节点上启动 Supervisor 服务:`storm supervisor &` - 查看 UI 界面:`storm ui &` (可以在任意一台机器上执行) #### 四、高级配置与性能优化 1. **动态资源分配**:Storm 1.0 支持动态资源...

Global site tag (gtag.js) - Google Analytics