关于storm 升级 。
storm 启动 supervisor 报错!
2013-11-26 17:39:20 event [ERROR] Error when processing event
java.lang.RuntimeException: java.io.InvalidClassException: clojure.lang.APersistentMap; local class incompatible: stream classdesc serialVersionUID = 7921415892740123219, local class serialVersionUID = 270281984708184947
at backtype.storm.utils.Utils.deserialize(Utils.java:59)
at backtype.storm.utils.LocalState.snapshot(LocalState.java:24)
at backtype.storm.utils.LocalState.get(LocalState.java:28)
at backtype.storm.daemon.supervisor$sync_processes.invoke(supervisor.clj:190)
at clojure.lang.AFn.applyToHelper(AFn.java:161)
at clojure.lang.AFn.applyTo(AFn.java:151)
at clojure.core$apply.invoke(core.clj:603)
at clojure.core$partial$fn__4070.doInvoke(core.clj:2343)
at clojure.lang.RestFn.invoke(RestFn.java:397)
at backtype.storm.event$event_manager$fn__2173.invoke(event.clj:24)
at clojure.lang.AFn.run(AFn.java:24)
at java.lang.Thread.run(Thread.java:619)
Caused by: java.io.InvalidClassException: clojure.lang.APersistentMap; local class incompatible: stream classdesc serialVersionUID = 7921415892740123219, local class serialVersionUID = 270281984708184947
at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:562)
at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1583)
at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1496)
at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1583)
at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1496)
at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1732)
at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1329)
at java.io.ObjectInputStream.readObject(ObjectInputStream.java:351)
at java.util.HashMap.readObject(HashMap.java:1149)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at java.io.ObjectStreamClass.invokeReadObject(ObjectStreamClass.java:974)
at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1846)
at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1753)
at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1329)
at java.io.ObjectInputStream.readObject(ObjectInputStream.java:351)
at backtype.storm.utils.Utils.deserialize(Utils.java:55)
... 11 more
2013-11-26 17:39:20 util [INFO] Halting process: ("Error when processing an event")
版本冲突了。
原因:storm.local.dir: "/data2/storm"
storm.local.dir: Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限 。
当第一次使用低版本的时候,worknode的这个目录下的数据保存的是低版本的。
当升级后,masternode 使用的是新版本的jar包,当Supervisor启动时,本地的(即/data2/storm下的包与masternode 包冲突) 导致序列号的id号不一致。
解决方案:在worknode执行:
rm -rf /data2/storm/*
启动Supervisor,进入正常工作。
关于升级流程:
1、确认storm的依赖正常安装
详细可参考:
https://github.com/nathanmarz/storm/wiki/Installing-native-dependencies
2、zookeeper需要正常工作。
安装可参考:
http://blog.csdn.net/shirdrn/article/details/7183503
分享到:
相关推荐
StorM32 BGC通常配备专门的固件升级和参数配置工具,如地面站软件,允许用户通过电脑或移动设备连接设备进行参数设置和调试。 六、注意事项 1. 调参环境:确保调参时设备处于静态且无风环境,以减少外部干扰。 2. ...
8. **运维经验**:除了技术细节,书中也会分享一些运维经验,如如何进行版本升级、资源调度策略、安全性和扩展性等方面的考虑。 通过阅读《Storm企业级应用实战、运维和调优》,读者不仅可以掌握Storm的基本操作,...
若发现系统版本与JDK需求不符,则可能需要升级系统或者选择安装较低版本的JDK。 ### 二、安装Storm 0.9 及 Kafka #### 2.1 安装Storm 0.9 安装Storm 0.9前确保JDK已经正确安装且版本满足要求。Storm 0.9的安装...
在升级图表的过程中,增加了柱状图,以更丰富的形式展示数据。 4. **Web端开发**: - 需要开发Web服务器端的Servlet来接收和处理来自Storm的实时数据,并将其转换为HighCharts可以理解的格式。这部分涉及HTTP长...
随着业务需求的不断升级,实时数据分析的重要性日益凸显,因此出现了如Storm和Spark这样的Hadoop替代技术,它们专注于提供更快、更灵活的数据处理能力,尤其适合实时流式计算。 Storm是Twitter开源的分布式实时计算...
"NSUN Storm 4"是一款可能经过多次升级的软件,从v1.0升级到v1.07,表明了开发者持续改进和增加功能。此外,"Plus.15Tr"表示此版本可能包含额外的15项特性或增强功能。这个软件的资源来自于一个拥有大量用户和丰富...
【课程大纲】01.Storm项目实战课程大纲02.CDH5搭建之CM5安装部署03.CDH5搭建和CM界面化集群管理04.Hadoop、HBase、Zookeeper集群管理和角色分配05.Kafka基础知识和集群搭建06.Kafka基本操作和最优设置07.Kafka Java ...
镭风HD6850 Xstorm显卡作为一款曾经在AMD Radeon HD 6800系列中风头无两的产品,其原版BIOS更新文件的发布备受DIY用户的关注。它不仅代表着性能的提升和稳定性增强,还意味着用户可以进一步挖掘其硬件的潜能。为了...
Wallaroo,作为一款Python原生的高性能数据处理平台,被广泛赞誉为与Spark和Storm相媲美的工具。这个强大的框架专为实时、大规模数据流处理而设计,提供了高度可扩展性和低延迟的解决方案。在Python开发领域,...
【课程大纲】01.Storm项目实战课程大纲02.CDH5搭建之CM5安装部署03.CDH5搭建和CM界面化集群管理04.Hadoop、HBase、Zookeeper集群管理和角色分配05.Kafka基础知识和集群搭建06.Kafka基本操作和最优设置07.Kafka Java ...
【课程大纲】01.Storm项目实战课程大纲02.CDH5搭建之CM5安装部署03.CDH5搭建和CM界面化集群管理04.Hadoop、HBase、Zookeeper集群管理和角色分配05.Kafka基础知识和集群搭建06.Kafka基本操作和最优设置07.Kafka Java ...
可以播放大部分的影音,最为关键的是解码全面的同时,占据空间小,以后的升级版本虽然画面好看,但是空间太大,喜好这个小巧的播放器
6. **版本升级**:从1.2.1到wangzs的v4.0,可能涉及到对原生Storm功能的增强,以及对JMS接口的优化,使得整个系统更加稳定且高效。 综上所述,"storm1.2.1-wangzs-jms-v4.0-完成"项目是一个集成了Apache Storm与JMS...
4. **版本管理**:支持API的多版本共存,方便升级和回滚。 5. **API集成**:系统可能提供了与第三方API的集成能力,简化开发流程。 【源码开放与二次开发】 "源码+免授权版"意味着系统提供了完整的源代码,并且...
【课程大纲】01.Storm项目实战课程大纲02.CDH5搭建之CM5安装部署03.CDH5搭建和CM界面化集群管理04.Hadoop、HBase、Zookeeper集群管理和角色分配05.Kafka基础知识和集群搭建06.Kafka基本操作和最优设置07.Kafka Java ...
【课程大纲】01.Storm项目实战课程大纲02.CDH5搭建之CM5安装部署03.CDH5搭建和CM界面化集群管理04.Hadoop、HBase、Zookeeper集群管理和角色分配05.Kafka基础知识和集群搭建06.Kafka基本操作和最优设置07.Kafka Java ...
【课程大纲】01.Storm项目实战课程大纲02.CDH5搭建之CM5安装部署03.CDH5搭建和CM界面化集群管理04.Hadoop、HBase、Zookeeper集群管理和角色分配05.Kafka基础知识和集群搭建06.Kafka基本操作和最优设置07.Kafka Java ...