Storm优势就在于Storm是实时的连续性的分布式的计算框架,一旦运行起来,除非你将它杀掉,否则它一直处理计算或等待计算的状态.Spark和hadoop都做不到.
当然它们各自都有其应用场景,各有各的优势.可以配合使用.
下面我转一份别人的资料,讲的很清楚.
Storm与Spark、Hadoop这三种框架,各有各的优点,每个框架都有自己的最佳应用场景。
所以,在不同的应用场景下,应该选择不同的框架。
Storm是最佳的流式计算框架,Storm由Java和Clojure写成,Storm的优点是全内存计算,所以它的定位是分布式实时计算系统,按照Storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。
Storm的适用场景:
1)流数据处理
Storm可以用来处理源源不断流进来的消息,处理之后将结果写入到某个存储中去。
2)分布式RPC。由于Storm的处理组件是分布式的,而且处理延迟极低,所以可以作为一个通用的分布式RPC框架来使用。
SparkSpark是一个基于内存计算的开源集群计算系统,目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发,类似于Hadoop MapReduce的通用并行计算框架,Spark基于Map Reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点,但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Reduce的算法。
Spark的适用场景:
1)多次操作特定数据集的应用场合
Spark是基于内存的迭代计算框架,适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多,所需读取的数据量越大,受益越大,数据量小但是计算密集度较大的场合,受益就相对较小。
2)粗粒度更新状态的应用
由于RDD的特性,Spark不适用那种异步细粒度更新状态的应用,例如Web服务的存储或者是增量的Web爬虫和索引。就是对于那种增量修改的应用模型不适合。
总的来说Spark的适用面比较广泛且比较通用。
Hadoop是实现了MapReduce的思想,将数据切片计算来处理大量的离线数据数据。Hadoop处理的数据必须是已经存放在HDFS上或者类似HBase的数据库中,所以Hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
Hadoop的适用场景:
1)海量数据的离线分析处理
2)大规模Web信息搜索
3)数据密集型并行计算
简单来说:
Hadoop适合于离线的批量数据处理适用于对实时性要求极低的场景
Storm适合于实时流数据处理,实时性方面做得极好
Spark是内存分布式计算框架,试图吞并Hadoop的Map-Reduce批处理框架和Storm的流处理框架,但是Spark已经做得很不错了,批处理方面性能优于Map-Reduce,但是流处理目前还是弱于Storm,产品仍在改进之中
分享到:
相关推荐
相比于Hadoop MapReduce,Spark通过将数据缓存到内存中,减少了磁盘I/O,从而实现了更高的运行效率。Spark Streaming则是通过微批次处理的方式模拟实时流处理,它可以与Spark的其他模块无缝集成,实现复杂的数据分析...
根据提供的文件信息,我们可以从以下几个方面来探讨与Hadoop、Storm、HBase和Spark相关的知识点。 ### Hadoop #### 1. Hadoop简介 Hadoop是一个开源软件框架,用于分布式存储和处理大型数据集。它由Apache基金会...
与Spark相比,Storm更专注于流处理,它能够持续不断地处理数据流,而不是像Spark那样以微批次的方式处理。Storm特别适合于需要实时分析大量流式数据的应用场景,例如社交媒体监控、在线广告投放等。 - **解决的...
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。Storm是一个分布式的、容错的实时计算系统。两者整合,优势互补。
资源名称:颠覆大数据分析 基于StormSpark等Hadoop替代技术的实时应用 内容简介:Vijay Srinivas Agneeswaran 博士,1998 年于SVCE 的马德拉斯分校获得计算机科学与工程专业的学士学位,2001 年获取了印度理工学院...
Hadoop、Storm和Spark都是大数据处理框架,但各自有不同的特点和适用场景。下面将对这三个框架进行详细的区别对比。 Hadoop的核心是HDFS(Hadoop Distributed File System)和MapReduce计算模型。HDFS用于存储大量...
与 Hive 相比,Spark SQL 在执行效率上有显著优势,因为它减少了 MapReduce 中间阶段的磁盘 I/O 操作。 - **前身 Shark**: Shark 是 Spark SQL 的前身,它试图解决 Hive 的一些限制,比如执行效率低下等问题。然而...
书中可能讨论了如何将Storm或Spark与Hadoop生态系统集成,实现数据的一体化处理。 4. **实时应用案例**:书籍可能会涵盖多个实时大数据分析的实例,例如金融交易监控、社交媒体情感分析、物联网设备数据实时处理等...
hadoop storm spark 机器学习
大数据Hadoop权威指南,pdf,中英文版。第4版 The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework...
Big Data Analytics Beyond Hadoop.Real-Time Applications with Storm.Spark and More Hadoop Alternatives
【Hadoop与Spark简介】 Hadoop是一个开源的分布式计算平台,由Apache软件基金会维护,它为用户提供了在分布式环境中处理海量数据的能力。Hadoop的核心包括两个主要组件:Hadoop分布式文件系统(HDFS)和MapReduce。...
大数据全套视频教程。linux,hadoop,spark,storm,hive,flume,oozie,,hbase,zookeeper,mysql,mongodb,redis,多个项目实践等等,应有尽有。
大数据Hadoop与Spark学习经验谈 大数据技术体系是一个庞大的知识领域,涵盖了数据源、数据收集、数据存储、批处理、交互式分析、流处理、数据挖掘、数据可视化等多个方面。想要掌握大数据技术,需要有系统化的学习...
本套视频教程主要针对2017年时的云计算与大数据技术进行讲解,重点涵盖了Hadoop、Storm、Kafka和Spark等核心组件的开发与应用。对于初学者来说,这是一份非常有价值的资源,旨在帮助他们从零基础快速建立起对大数据...
综上所述,这份视频教程涵盖了云计算和大数据领域的核心技术和工具,包括Hadoop、Storm、Kafka以及Spark等,适合初学者入门学习。通过系统地学习这些技术,可以帮助学习者掌握大数据处理的基本原理和方法,为进一步...
-_11.11_storm-spark-hadoophadoop_storm_spark结合实验的例子,模拟淘宝双11节,根据订单详细信息,汇总出总销售量,各个省份销售排行,以及后期SQL分析,数据分析,数据挖掘等。--------大概流程-------第一阶段...
4. **大数据生态系统**:理解Hadoop和其他相关组件(如HDFS、YARN)如何与Storm和Spark协同工作。 5. **编程实践**:使用Java、Scala或Python等语言编写Storm和Spark应用程序,理解API的用法和最佳实践。 总的来说...