因机器断电或其他异常导致的supervisor意外终止,再次启动时报错:
2013-09-24 09:15:44,361 INFO [main] daemon.supervisor (NO_SOURCE_FILE:invoke(0)) - Starting supervisor with id 74332654-8925-48a1-b67b-7eacaa52aeca at host hadoop02 2013-09-24 09:15:45,246 ERROR [Thread-2] storm.event (NO_SOURCE_FILE:invoke(0)) - Error when processing event java.lang.RuntimeException: java.io.EOFException at backtype.storm.utils.Utils.deserialize(Utils.java:68) at backtype.storm.utils.LocalState.snapshot(LocalState.java:28) at backtype.storm.utils.LocalState.get(LocalState.java:39) at backtype.storm.daemon.supervisor$sync_processes.invoke(supervisor.clj:187) at clojure.lang.AFn.applyToHelper(AFn.java:161) at clojure.lang.AFn.applyTo(AFn.java:151) at clojure.core$apply.invoke(core.clj:603) at clojure.core$partial$fn__4070.doInvoke(core.clj:2343) at clojure.lang.RestFn.invoke(RestFn.java:397) at backtype.storm.event$event_manager$fn__3058.invoke(event.clj:24) at clojure.lang.AFn.run(AFn.java:24) at java.lang.Thread.run(Thread.java:662) Caused by: java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2284) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:2753) at java.io.ObjectInputStream.readStreamHeader(ObjectInputStream.java:777) at java.io.ObjectInputStream.<init>(ObjectInputStream.java:277) at backtype.storm.utils.Utils.deserialize(Utils.java:63) ... 11 more 2013-09-24 09:15:45,260 INFO [Thread-2] storm.util (NO_SOURCE_FILE:invoke(0)) - Halting process: ("Error when processing an event")
解决办法:
删除storm.yaml中配置的storm.local.dir指向的目录中的supervisor和workers两个目录,再次启动即可。
相关推荐
5. **启动Supervisor**:在所有worker节点上运行`storm supervisor`命令,启动Supervisor服务。 6. **启动UI**:可选步骤,运行`storm ui`来启动Web界面,用于监控集群状态。 停止storm集群的过程相对简单,基本...
在单节点部署中,所有的 Storm 组件,包括 Nimbus、Supervisor 和 UI,都将运行在同一台机器上,适合于开发环境或简单测试。以下是详细的部署步骤: 一、安装介质准备 首先,你需要访问 Apache Storm 的官方网站 ...
4. **启动服务**:运行`bin/storm nimbus`启动Nimbus服务,然后运行`bin/storm supervisor`启动Supervisor服务。为了使Storm UI可用,还需要运行`bin/storm ui`。 5. **部署拓扑**:一旦集群运行起来,你可以使用`...
- **配置**:编辑配置文件`storm.yaml`,设置Nimbus和Supervisor等关键参数。 **2.4 集成Kafka** 如果需要从Kafka获取数据流,还需要安装Kafka并与Storm集成。此过程包括Kafka的安装、配置以及开发适配器。 **2.5...
5. **启动Supervisor**:在所有Supervisor节点上,执行`bin/storm supervisor`命令启动Supervisor服务。 6. **启动UI**:执行`bin/storm ui`命令启动Storm的Web UI,可以通过浏览器访问监控Storm集群的状态。 7. *...
4. 使用 `bin/storm nimbus` 和 `bin/storm supervisor` 分别启动 Nimbus 和 Supervisor 服务。 5. 如果需要,启动 UI 服务 `bin/storm ui` 以监控 Storm 集群的状态。 6. 开发拓扑(Topology)并部署到集群,这通常...
2. **环境搭建**:在本地或集群上设置Storm环境需要安装JDK,配置环境变量,下载Storm的安装包,解压并启动Nimbus(主节点)、Supervisor(工作节点)和服务监控界面UI。 3. **Hadoop集成**:Storm可以与Hadoop生态...
4. **启动 Supervisord**:运行 `supervisord` 命令启动 Supervisor 服务。 5. **控制进程**:使用 `supervisorctl` 工具来管理进程,如添加、删除、启动、停止进程。 6. **配置开机启动**:设置 Supervisord 在...
三、Storm启动和测试 1. 启动Storm:使用Storm的启动脚本启动Storm服务。 2. 测试Storm:使用Storm的测试工具测试Storm的正确性。 四、Storm深入学习 Storm是一个分布式实时计算系统,可以实时处理大量数据。...
7. **故障恢复**:如果进程因为错误或者异常退出,`supervisor` 将尝试按照预设的策略重启它,确保服务的高可用性。 安装 `supervisor` 一般通过包管理器完成,例如在Ubuntu上使用`apt-get install supervisor`,在...
6. **启动Supervisor**:在所有工作节点上,执行`storm supervisor`启动Supervisor服务。 7. **启动UI**:在任意节点(通常与Nimbus在同一节点)上,执行`storm ui`启动Web UI服务。可以通过浏览器访问`...
3. **Storm/assignments/**:存储 Nimbus 为每个 Topology 分配的任务信息,包括本地存储目录、分配到的 Supervisor 机器映射关系、每个 Executor 所在 Worker 位置及启动时间等。 4. **Storm/supervisors/...
Apache Storm的设计目标是处理大规模数据流,提供低延迟、高吞吐量的数据处理能力,常用于实时分析、在线机器学习、持续计算、大数据处理等领域。 描述中提到的"使用zookeeper-3.4.10.tar.gz"表明在搭建Storm集群时...
2. `守护工具配置.doc`:这可能是一个文档,详细介绍了如何配置和使用Supervisor作为守护进程来管理你的程序,包括启动、停止、重启进程等操作,以及如何配置Supervisor以满足特定需求。 3. `supervisor-3.3.1.tar....
4. **启动脚本**:如`storm nimbus`、`storm supervisor`等,这些脚本用于启动Storm的各种服务,如Nimbus(主控节点)、Supervisor(工作节点)。 5. **示例代码**:可能包含一些示例拓扑,帮助初学者理解如何构建...
在运行拓扑之前,确保你的`storm.yaml`配置文件没有错误,并且Nimbus和Supervisor都在正常运行。然后,使用`storm jar`命令提交你的拓扑到Storm集群: ```bash storm jar my_topology.jar com.example.MyTopology `...
Storm集群由Nimbus、Supervisor、ZooKeeper等组件组成,Nimbus负责资源的分配和任务调度,Supervisor负责执行任务,ZooKeeper负责集群的状态维护。 本文档是关于Storm源码的详细走读笔记,主要分析了Storm的启动...
流式处理作为一种高效的数据处理方式,广泛应用于大数据实时分析、在线机器学习以及互联网实时推送等领域。Storm作为Apache软件基金会的顶级项目,是一个分布式、容错的实时计算系统,能够处理无界数据流,确保每个...
- 在 Supervisor 节点上启动 Supervisor 服务:`storm supervisor &` - 查看 UI 界面:`storm ui &` (可以在任意一台机器上执行) #### 四、高级配置与性能优化 1. **动态资源分配**:Storm 1.0 支持动态资源...