http://www.zhihu.com/question/20098507
最主要的方面:Hadoop使用磁盘作为中间交换的介质,而storm的数据是一直在内存中流转的。
两者面向的领域也不完全相同,一个是批量处理,基于任务调度的;另外一个是实时处理,基于流。
以水为例,Hadoop可以看作是纯净水,一桶桶地搬;而Storm是用水管,预先接好(Topology),然后打开水龙头,水就源源不断地流出来了。
Storm之于实时处理,就好比Hadoop之于批处理。
Storm的主要特点如下:
简单的编程模型。类似于MapReduce降低了并行批处理复杂性,Storm降低了进行实时处理的复杂性。
快速。系统的设计保证了消息能得到快速的处理,使用MQ作为其底层消息队列。
Storm关键字 Nimbus, Supervisor, Topology, Spout/Bolt
Hadoop M/R基于HDFS,需要切分输入数据、产生中间数据文件、排序、数据压缩、多份复制等,效率较低。
Storm 基于ZeroMQ这个高性能的消息通讯库,不持久化数据。
Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。
分享到:
相关推荐
根据提供的文件信息,我们可以从以下几个方面来探讨与Hadoop、Storm、HBase和Spark相关的知识点。 ### Hadoop #### 1. Hadoop简介 Hadoop是一个开源软件框架,用于分布式存储和处理大型数据集。它由Apache基金会...
hadoop storm spark 机器学习
Apache Hadoop---Storm Apache Storm 是一个专为实时大数据处理设计的开源分布式系统。它能够高效、容错地处理大规模数据流,具有高吞吐量的特点,尤其适用于需要低延迟响应的应用场景。作为Hadoop生态的一部分,...
本套视频教程主要针对2017年时的云计算与大数据技术进行讲解,重点涵盖了Hadoop、Storm、Kafka和Spark等核心组件的开发与应用。对于初学者来说,这是一份非常有价值的资源,旨在帮助他们从零基础快速建立起对大数据...
综上所述,这份视频教程涵盖了云计算和大数据领域的核心技术和工具,包括Hadoop、Storm、Kafka以及Spark等,适合初学者入门学习。通过系统地学习这些技术,可以帮助学习者掌握大数据处理的基本原理和方法,为进一步...
#### Spark与Storm的区别 - **设计理念**:Spark基于的理念是当数据量非常大时,将计算过程传递给数据(即数据驻留在内存中)要比将数据传递给计算过程更有效率。而Storm则是基于将数据传递给计算过程的设计理念。 -...
Hadoop、Storm和Spark都是大数据处理框架,但各自有不同的特点和适用场景。下面将对这三个框架进行详细的区别对比。 Hadoop的核心是HDFS(Hadoop Distributed File System)和MapReduce计算模型。HDFS用于存储大量...
Storm官方网站有段简介 Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,Storm可以实时处理数据。Storm简单,可以使用任何编程语言。
【基于Hadoop和Storm的音乐推荐系统设计】 本论文详细探讨了如何利用Hadoop和Storm构建一个音乐推荐系统,这是大数据处理和分析在现代互联网服务中的一个典型应用。Hadoop和Storm分别是大数据处理领域的两个重要...
Storm用于实时数据流处理,YARN作为Hadoop的资源管理系统,而Pig则提供了一种高级数据处理语言,简化了大规模数据集的分析。这里我们将深入探讨如何将这三个组件结合,实现广告点击量的实时分析。 首先,让我们了解...
请管理员删除 有敏感信息。请管理员删除 有敏感信息。
### Hadoop 2 和 Storm 学习指南 #### 一、Hadoop 2 概述 Hadoop 是一个能够对大量数据进行分布式处理的软件框架,由 Apache 基金会开发并维护。Hadoop 2 相对于早期版本进行了重大改进,包括引入了 YARN(Yet ...
标题中的“Hadoop”、“Storm”和“NOSQL”都是大数据处理领域的核心技术和工具,它们在现代数据处理和分析中扮演着至关重要的角色。现在,让我们深入了解一下这些技术。 **Hadoop** 是一个开源的分布式计算框架,...
大数据全套视频教程。linux,hadoop,spark,storm,hive,flume,oozie,,hbase,zookeeper,mysql,mongodb,redis,多个项目实践等等,应有尽有。
大数据Hadoop权威指南,pdf,中英文版。第4版 The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework...
基于Hadoop+Storm的网络日志实时分析系统+源代码+文档说明 -------- 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,...
【描述】:“strom hadoop,批量下载】storm环境搭建v1等.zip批量下载】storm环境搭建v1等.zip”虽然重复,但可以推测内容可能不仅限于Storm本身,还可能涉及到Hadoop的集成,因为提到了“hadoop”。这暗示了这个...
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...