`
admin_pc
  • 浏览: 1629 次
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

window 安装Storm

阅读更多

window 安装Storm

安装部署

  • JDK 1.7+
  • Python 2.6.6+
  • Zookeeper 
  • Storm 下载最新安装包http://storm.apache.org/downloads.html 本文以apache-storm-1.0.2.zip为例,解压到 D:\apache-storm-1.0.2 (注意:安装目录不能有空格);

配置            

  • JDK  需要配置JAVA_HOME path:%JAVA_HOME%\bin
  • Python配置   path:D:\python用来编译运行.py文件  (路径使用自己的)
  • Zookeeper配置  ZOOKEEPER_HOMEpath:%ZOOKEEPER_HOME%\bin 
  • Storm配置   STORM_HOMEpath:D:\apache-storm-1.0.2\bin
  • 配置环境变量PATHEXT加上.py
  • 修改Stormstorm.yaml文件
########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "localhost"
     - "localhost"
     - "localhost"
 
 nimbus.seeds: ["127.0.0.1"]
#
#
# ##### These may optionally be filled in:

 

注意:所有的路径不能包含空格,否则启动时候报错

 

启动

  • 进入storm安装目录,或者使用cd %STORM_HOME%结果相同;
  • 启动使用命令            

         >storm nimbus

               >storm supervisor

               >storm ui

注意:一定要同时启动zookeeper不然nimbus会报错connect refuse    启动命令>zkServer.cmd 

Zk是本地伪集

 在浏览器输入:http://localhost:8080/   将出来storm菜单说明成功   

 

 

ps:最近对storm感兴趣研究参考官方文档,着手去弄中间碰到各种奇怪问题,这里简单记录。

分享到:
评论

相关推荐

    Storm实战构建大数据实时计算

    - **窗口(Window)**:用于处理基于时间或数量的分组计算,如滑动窗口、翻转窗口等。 - **acker**:负责确认消息处理的完整性,确保数据处理的可靠性。 3. **实时处理的优势与挑战** - 实时分析可以迅速响应...

    Storm实时数据处理-超清文字版.pdf

    在实时计算中,窗口(Window)是一种重要的时间概念,用于划分数据流的时间段。Storm支持滑动窗口、滚动窗口和会话窗口等多种类型,这些窗口机制让开发者可以根据业务需求灵活控制数据处理的时间范围。 六、 storm ...

    Web定制组件window

    storm定制组件window

    使用Storm实时处理交通大数据(数据源:kafka,集群管理:zookeeper)

    Window 7+Storm 1.1.1+Zookeeper 3.4.9+Kafka 2.12+Java 8+Python 3.6(官方推荐版本2.6.6,3.x也可以工作)。 3.适用人群:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计,作为“参考资料...

    Avaya Aura Orchestration Designer 中文版安装配置手册

    Storm Codec是一个可选组件,根据需求决定是否安装。Eclipse Platform是用于开发和调试的集成开发环境(IDE)。 3. **Tomcat与Eclipse的安装**:对于Tomcat,简单地将下载的`apache-tomcat-6.0.29`文件夹复制到你...

    Storm-Windowing-Analysis:这个 Repository 有零碎的部分,当然是代码,从分析到在 STORM 中实现窗口机制

    使用`TumblingWindow`、`SlidingWindow`、`SessionWindow`等API来定义窗口的大小、滑动间隔和会话间隔。这些API使得开发者能够灵活地处理各种实时流数据场景。 **Java编程语言** 标签中的“Java”表明这个...

    hadoop-2.7.5.zip

    在实际应用中,可能还需要结合其他组件,如Apache Flume用于数据收集,Apache Storm或Apache Spark Streaming用于实时数据处理,以及Apache HBase或Apache Cassandra用于实时数据存储。 总的来说,了解并掌握Hadoop...

    LegoLikeBuildingBlocksofStormandSparkStreamingPipelines.zip

    2. **窗口(Window)**:Spark Streaming处理数据时使用时间或事件驱动的窗口,允许用户在特定时间间隔内聚合或处理数据。 3. **Transformations**:类似于Spark Core中的操作,如map、filter、reduceByKey等,可以...

    sparkstreaming

    与传统的批处理不同,Spark Streaming 能够接收来自多种数据源的实时数据流,并通过一系列高级操作(如 map、reduce、join 和 window 等)对这些数据进行实时处理。 **特点**: 1. **高吞吐量**:能够处理大规模的...

    江苏省连云港市新浦中学八年级英语上册《8A Unit 6 Natural disasters Main task 》学案(无答案

    - look out of the window:向窗外看,look out是向外看,window是窗户。 - forget to bring my keys:忘记带钥匙,forget是忘记,bring是带来。 2. 学习流程: - Step 2 新课导学:学生通过阅读Sandy的笔记,...

    06Spark Streaming原理和实践

    Window操作 对数据流进行窗口化处理,如计算过去一分钟内的数据总量。 通过以上内容,我们可以了解到Spark Streaming作为一种强大的流处理框架,不仅能够处理实时数据流,还能与其他Spark组件无缝集成,从而实现...

    kafka_2.11-1.0.1

    描述中提到"**window版的kafka资源下载**",这意味着该压缩包包含了Windows平台下的Kafka安装文件。通常,Kafka的默认配置是针对Linux环境的,但通过提供Windows版本,开发者可以在Windows操作系统上方便地进行测试...

    flink初级技术分享.pdf

    在描述Flink的功能时,提到了它与其它一些流处理框架的对比,比如Storm、Spark Streaming、Kafka Streams等。Flink拥有低延迟和高吞吐量的优势,非常适合复杂的流处理用例。它支持Lambda架构,意味着可以根据不同的...

    spark之sparkStreaming 理解

    用户可以从多种数据源(比如Kafka、Flume、Kinesis或者TCP套接字)获取数据,并通过高级函数接口(如`map`、`reduce`、`join`和`window`)对数据进行复杂的算法处理和实时仪表盘展示。处理后的数据可以被推送至文件...

    Apache Flink:详细入门.docx

    1. 流处理特性:支持高吞吐、低延迟、高性能的流处理,支持带有事件时间的窗口(Window)操作,支持有状态计算的 Exactly-once 语义,支持高度灵活的窗口(Window)操作,支持基于 time、count、session 以及 data-...

    spark-streaming课堂讲义.docx

    一旦数据被摄入,可以应用 map、reduce、join 和 window 等操作进行计算,就像在 Spark Core 中处理 RDD 一样。处理后的结果可以存储在 HDFS、数据库或其他外部系统中。Spark Streaming 还可以与 Spark 的其他组件,...

    苏宁基于SparkStreaming的实时日志分析系统实践

    苏宁的数据云平台集成了Hive、Spark、Storm、Druid、ES、Hbase、Kafka等多种大数据组件,为集团的大数据计算和存储提供支持。 Spark Streaming作为苏宁实时日志分析系统的重要组成部分,它是一种准实时计算框架,...

    Spark入门实战系列(上)-实时流计算SparkStreaming原理介绍

    窗口长度(window length)是数据窗口覆盖的时间长度,而滑动时间间隔(sliding interval)定义了窗口如何随着时间移动,必须是批处理时间间隔的倍数。 在容错机制方面,Spark Streaming采用微批处理的方式,即使...

    阿里巴巴实时计算平台_JStorm_Turbo.pdf

    Sliding Window机制则允许进行时间窗口内的数据聚合,使得分析结果更具时效性。依赖管理(Shade Dependency)和Backpressure 3.0的优化进一步提升了系统的稳定性和资源利用率。 综上所述,阿里巴巴的JStorm_Turbo...

    CEP:cep相关学习信息

    CEP学习Esper学习WSO2 CEP学习DroolsPulsar市面上CEP产品大全CEP比较WSO2 CEP与Esper对比信息CEP Tooling Market Survey 2014(CEP工具情况)Stream与CEP结合Spark Streaming与Siddhi结合处理流式数据Storm与Esper结合...

Global site tag (gtag.js) - Google Analytics