`
wangmengbk
  • 浏览: 292147 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

storm 常见问题解决

 
阅读更多

1. Zookeeper+ metaq-1.4.6 和storm-0.9.4 程序在eclipse 运行出现

  Will not attempt to authenticate using SASL (java.lang.SecurityException: 无法定位登录配置)

 使用本地模式: 

LocalCluster cluster = new LocalCluster();

cluster.submitTopology("test", config, tbuilder.createTopology());  

运行没有关系的。

 

2.worker-xxxx.log 显示 2015-04-30 08:31:53 worker [WARN] Received invalid 

messages for unknown tasks. Dropping...  造成数据丢失问题

该问题是host配置问题,解析host出问题

解决方案:

在每台集群机上执行 hostname pc-name (说明 pc-name 是定义的集群名称)

        vi /etc/sysconfig/network 

修改 HOSTNAME= pc-name 

效果如下图:


vi /etc/hosts 

添加如下信息:


 

3.StormUI上面nimbus和supervisor都显示127.0.0.1 或 localhost

解决办法同2

 

4.topologykill后,kill supervisor或nimbus,立刻启动,有时会自动shutdown

supervisor和nimbus启动、关闭后,zookeeper上信息会有同步。每次启动,会尝试恢复、停止上一次的task。对于supervisor,可以等到StormUI上面topology完全停止后,再重启,可避免该问题。

5.如何查找某个spout,bolt的运行log?

Storm UI上找到该topology,点击进去后找到目标(spout或bolt 等), 点击进去,找到 Executor 栏,里面有Host和Port,其实就是执行该component的task的worker。每个port会对应logs目录下worker-<port>.log的一个log文件,直接去该host上找到该文件查看即可。

注:

Storm有个logviewer的功能,即在每个superviosr上启动 ./storm logviewer 后,就可以在stormUI里面点击那个port后直接查看静态的log。

如果打不开,检查supervisor上logs/logviewer.log,看是否有错。然后看打开的URL里面host名在本地是否能正确的解析为目标IP,如果不能就将 hostname 修改为IP 即可查看(集群环境中只能适合nimbus)。



 将 nimbus 修改为对应 PC 的IP 效果如下:



 

 

  • 大小: 57 KB
  • 大小: 4 KB
  • 大小: 2 KB
  • 大小: 29.8 KB
  • 大小: 147.9 KB
分享到:
评论

相关推荐

    解决丢失Storm.dll的问题

    标题中的“解决丢失Storm.dll的问题”指的是在操作系统中遇到一个常见的错误,即系统提示Storm.dll文件丢失或损坏。这个问题通常发生在尝试运行某些依赖于这个动态链接库(DLL)的软件时。Storm.dll是某些应用程序...

    Storm实战常见问题及解决方案

    安装好JDK后,需要配置环境变量,通常情况下出于经验,我们往往会修改/etc/profile的值进行环境变量配置,但这在安装JDK以及后面安装的storm集群、zookeeper集群以及metaq集群时会出问题,这时候我们需要在/etc/....

    storm中文学习资料

    6. **监控与调试**:介绍如何监控Storm拓扑的性能,以及如何定位和解决常见问题。 7. **最佳实践**:提供实际项目中的经验分享,包括优化策略、资源调度和扩展性考虑。 8. **案例研究**:可能包含一些真实的项目...

    基于Storm流计算天猫双十一作战室项目实战

    - **技巧分享**:传授一些实用的小技巧和注意事项,比如性能调优的方法、常见问题的解决方案等,进一步提升学习者的实战经验。 #### 二、实战案例分析 - **案例1:Storm + Kafka 数据流处理**:利用Storm和Kafka...

    那些storm的坑坑

    根据文件名推测,这可能是2014年9月15日的一次公开培训课程,主题可能围绕Storm的基础知识、设置、配置以及常见问题展开。PPTX文件通常会包含详细的步骤、示例代码和最佳实践,对于理解Storm的工作流程和避免坑点...

    storm 从零到精通 非常实用的文件

    - **1.2.3 Storm帮助Twitter解决实时海量大数据处理问题** - Storm 提供了一种强大的框架来处理这些数据,使得 Twitter 能够实时分析用户的行为并提供即时反馈。 **1.3 Storm的成长** - **1.3.1 Storm正式开源** ...

    Java-webservice接口测试工具Storm_r1.1-Adarna

    Java WebService接口测试工具Storm_r1.1-Adarna是一款专为Java开发的Web服务测试解决方案,它旨在简化和加速对基于SOAP或RESTful的Web服务接口的验证和测试过程。在本文中,我们将深入探讨Java WebService接口测试的...

    从零开始学Storm+第2版(2016).pdf

    通过《从零开始学Storm+第2版(2016)》,你将能掌握如何创建、部署和管理 Storm 拓扑,解决实时数据处理中的各种挑战。这本书可能涵盖了 Storm 的安装配置、基本概念、实战案例以及高级特性,帮助你从新手快速成长为 ...

    Storm Blueprints.Patterns

    在Storm中,“blueprint”通常指的是一个可复用的解决方案模板,它描述了如何组织和配置组件来解决特定类型的问题。本书的核心内容可能包括以下几个关键知识点: 1. **实时数据流处理基础**:介绍实时计算的概念,...

    Storm企业级应用实战、运维和调优.zip

    9. **案例研究**:书中可能会包含实际企业项目中的应用案例,展示Storm如何解决特定业务问题,为读者提供实际应用场景的参考。 10. **最佳实践**:总结Storm在企业应用中的最佳实践,包括开发、部署、运维等方面的...

    Storm实战构建大数据实时计算

    6. 实际案例分析:通过分析实际应用中的案例,本书将讲解如何使用Storm解决具体问题,以及在面对各种业务需求时,如何利用Storm的优势来实现高效的大数据实时计算。 此外,本书可能还会涉及Storm的一些编程接口以及...

    Storm Blueprints_ Patterns for Distributed Real-time Computation-带书签目录文字版

    这些实例深入浅出地解释了如何利用Storm解决实际业务问题。 对于“书签版”和“文字版”的标签,这意味着提供的资源可能包含了方便阅读和导航的书签目录,以及易于搜索和引用的文本格式。这对于学习者来说,能更...

    360°目标跟踪系统STorM32云台控制器

    "360°目标跟踪系统STorM32云台控制器"是一个专为实现全方位目标追踪功能而设计的系统,核心控制器是STorM32,这是一种常见的微控制器,广泛应用于Arduino类型的开源硬件项目中。该系统通过精确的电机控制和算法支持...

    lamp安装配置及flume+Kafka+Storm+HDFS实时系统搭分享

    在这个过程中,文档《Twitter Storm系列》flume-ng+Kafka+Storm+HDFS 实时系统搭建.docx和《安装扎记.pdf》将提供详细的步骤指导和常见问题解决方案,帮助你顺利完成整个系统的搭建和优化。 总的来说,LNMP与实时大...

    storm+kafka+redis+mysql

    Redis虽然速度快,但通常不建议作为长期存储,因此MySQL提供了可靠的存储解决方案。 **整合应用** 在maven搭建的环境中,这四个组件通过Java或其他支持的语言进行集成。Maven是Java项目管理工具,负责管理依赖库,...

    storm集群部署文档

    #### 六、常见问题及解决方法 - **启动失败**:检查`storm.yaml`配置文件是否有误,确保所有依赖的服务都已启动。 - **性能瓶颈**:根据监控数据调整Worker数量、JVM参数等。 - **网络延迟**:优化网络配置,减少...

    Storm第02天

    3. **笔记.txt** - 学习笔记,记录了学习过程中的要点、问题解答或者是对Storm概念的解释,对于巩固理解非常有帮助。 4. **StormDemo** - 这可能是一个Storm项目的实例,包含了一个完整的拓扑定义,用于演示如何创建...

    Jabra捷波朗Storm 弦月3用户手册.pdf

    Jabra Storm 弦月3 用户手册 ...在使用过程中,如果用户遇到问题,可以查看常见问题解答或联系 JabraStorm 官方客服。 Jabra Storm 弦月3 用户手册提供了详细的使用指南和功能介绍,帮助用户更好地使用和维护耳机。

    storm事务详解(transactionTopology

    尽管"storm事务详解"只有三页,但应该会深入讨论如何在实际项目中使用Transaction Topology,包括最佳实践、性能优化和常见问题的解决方案。理解并掌握这一机制对于在Storm上构建高可用、强一致性的实时处理系统至关...

Global site tag (gtag.js) - Google Analytics