`
heipark
  • 浏览: 2097108 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

storm遇到问题汇总

 
阅读更多
  • 错误1:在windows下运行ExclamationTopology或者WordCountTopology时,报“Unable to delete file错误
这是storm的一个bug,0.8.2版本还没有解决,这个错误在cluster.shutdown();时候抛出,没有什么好解决办法,注释掉shutdown()方法程序将不会自己停止,这个错误影响有限,忽略它吧。

参考:Twitter storm example running in local mode cannot delete file
  • 错误2: 运行topology出现错误“java.net.SocketException: Address family not supported by protocol family: connect”,详细如下:
1165 [main] INFO backtype.storm.daemon.nimbus - Using default scheduler
1186 [main] INFO com.netflix.curator.framework.imps.CuratorFrameworkImpl - Starting
1198 [main-SendThread(localhost:2000)] WARN org.apache.zookeeper.ClientCnxn - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
java.net.SocketException: Address family not supported by protocol family: connect

 解决方法:

  1. ping localhost,如果没有正确回应把hosts文件配置一下试试!
  2. 运行main class的时候添加“-Djava.net.preferIPv4Stack=true”参数试试!
  • 错误3:“Found multiple defaults.yaml resources. You're probably bundling the Storm jars with your topology jar.”

解决办法:

问题原因:jvm执行中发现多个defaults.yaml 先把pom中storm改为provided,如果既使用maven pom文件管理jar,又手工添加storm jar就会出现这个问题,删除其中一个再试试。

 

 

分享到:
评论

相关推荐

    storm0.9x安装所需所有包(全)

    【描述】中提到的"一直没找到真正齐全可用的storm安装所需包",表明了在安装Storm的过程中可能会遇到一些困难,因为完整的依赖包集合并不总是易于获取。这通常涉及到多个组件,包括Storm的核心库、依赖的JAR包、配置...

    2015阿里安全峰会(2015) - 安全技术资料汇总.zip

    "疗一疗本土‘瘤’览器.pdf"很可能关注的是浏览器安全问题,尤其是在中国环境下遇到的独特挑战。内容可能涉及浏览器的安全漏洞、恶意插件以及如何增强用户的安全防护措施。 "内存喷射在安卓Root利用中.pdf"是一个...

    万亿级实时流计算架构.pptx

    在面对数据倾斜和分片问题时,可以先在CELL级别进行汇总,再在地市级别进行二次汇总,以提高集群性能。 在数据存储方面,Redis的吞吐能力限制了系统的性能。由于Redis的单线程模型,当出现性能瓶颈时,可以通过监控...

    中级口译教程第四版词汇预习汇总final.doc

    - run into a storm:遭遇暴风雨,暗指遇到突发困难。 - be held up:被耽搁,延误。 - clear up:天气转晴,也用于指问题得到解决。 2. 宾馆入住: - check-in:登记入住,旅客到达酒店并办理手续的过程。 - ...

    AOI编程能力提升培训手册

    AOI编程能力的提升不仅需要对AOI的基本原理和技术有深入的理解,还需要不断积累实践经验,了解不同材料和工艺条件下可能遇到的问题,并能够灵活运用各种算法和技术解决问题。通过本手册的学习,可以帮助技术人员更好...

    英语较好的单词汇总 单词

    ### 英语较好的单词汇总知识点解析 #### 一、词汇分类与详解 ##### 1. 动词(Verbs) - **Abandon (vt.)**:放弃,遗弃。例如:“He abandoned the project after months of struggle.”(经过几个月的努力后,他...

    wot-web攻击日志分析.pdf

    这些方法对于规模较小的日志量可能行之有效,但对于更大的数据量则显得力不从心,尤其是当遇到几G、几十G、甚至几百G以上的攻击日志时,常规分析方法就难以应对。此外,实时性的保证也是一个挑战。在服务器被入侵的...

    大数据面试题 100道.pdf

    传统的关系型数据库在处理大量数据时会遇到瓶颈,因此需要新的技术来解决这些问题。Hadoop是一个开源的分布式计算平台,是大数据技术的代表之一。Hadoop核心包括HDFS(Hadoop Distributed File System)、YARN(Yet ...

    各企业的大数据面试真题

    - **笔试与面试**: 如果遇到笔试题,可以根据实际情况决定是否先面试。 - **工作状态**: 建议在面试时说自己处于在职状态,以便在谈判薪资时占据主动权。 - **面试时间安排**: 合理安排面试时间,避免因时间冲突而...

    Hadoop Explained.pdf )

    开发者可以通过社区资源、论坛、文档和会议来获取最新的技术动态和解决实际开发中遇到的问题。 以上知识点是对Hadoop基本框架和生态系统的介绍,旨在为读者提供一个全面的理解。随着技术的发展,Hadoop也在不断迭代...

    基于流式计算的DPI数据处理方案及实践.pdf

    然而,传统的基于MapReduce的批处理模式在处理大数据时遇到了瓶颈,尤其是在实时性要求极高的场景下,这种模式难以满足需求。在数据量庞大、增长迅速和实时性要求高的通信行业,流式计算技术作为大数据技术研究的新...

Global site tag (gtag.js) - Google Analytics