`

Storm中的基本概念

阅读更多
Storm中的一些基本概念

Storm:分布式、高容错的实时计算系统。
Topology:拓扑,相当于hadoop中的job,但没有严格的指定开始时间与结束时间。
Spout:Topology中的输入数据流,连接数据源,将各类数据源转换成tuple结构的数据,并序列化,向Bolt输出转化后的数据流。
Bolt:接收Spout的数据流并计算,记录计算结果,并向下一个已订阅的bolt发射结果。
Tuple:storm中的数据结果,key-value格式的列表。
Nimbus:是Storm集群中的主节点(master node)的守护进程,负责在集群里面分发代码,分配工作给机器, 并且监控Topology的运行状态。
Supervisor:是Storm集群中的工作节点(worker node)的守护进程,每一个工作节点上面均会运行一个supervisor,它会监听本台机器的工作状态,并根据需要启动/关闭工作进程。
分享到:
评论

相关推荐

    实时计算:Apache Storm:ApacheStorm基本概念与术语.docx

    实时计算:Apache Storm:ApacheStorm基本概念与术语.docx

    storm中文学习资料

    1. **Storm简介**:介绍Storm的基本概念,如拓扑结构(topology)、bolts和spouts等,以及其在大数据处理中的角色。 2. **安装与配置**:详述如何在本地或集群环境中安装Storm,包括依赖库的安装、环境变量设置和...

    storm on yarn概念架构消息机制概述

    Spouts和Bolts之间通过Stream(流)连接,Stream是Storm中处理数据的基础单位,是一个无界的tuple序列,tuple是Storm消息传递的基本单元。Tuple是根据字段进行序列化的数据,用户可以自定义字段类型。 Stream的分组...

    storm学习入门《Getting started with Storm》中英文版

    这本书籍提供了对Storm的基本概念、架构以及如何在实际项目中应用的详细介绍。 **描述分析:** 描述提到"这是书籍Getting started with Storm的中英文两个版本,大家可以参考对照学习哦",这意味着学习者可以同时...

    细细品味Storm_Storm简介及安装

    **1.2 基本概念** - **Topology**:Storm中的数据处理逻辑被封装在Topology中,它定义了数据流如何在组件之间流动。 - **Spout**:Spout是数据流的源头,负责读取外部数据并将其发送到Storm中进行处理。 - **Bolt**...

    storm的测试源码

    在深入探讨Storm的测试源码之前,我们首先需要理解Storm的基本概念和架构。 Storm的核心概念包括拓扑(Topology)、工作者(Worker)、节点(Task)以及 Bolt 和 Spout。拓扑是Storm中的工作单元,它由多个Spout和...

    storm开发jar包以及storm例子源码

    3. **编写拓扑**:在Java代码中定义拓扑结构,这是Storm的核心概念。一个拓扑包含多个 bolts(处理数据的组件)和 spouts(数据源)通过流连接在一起。例如,你可以创建一个简单的WordCount拓扑,从spout读取文本,...

    storm入门.pdf

    Storm入门书籍介绍了Storm的基本概念和应用场景,指导读者如何搭建Storm开发环境,创建Storm工程,以及如何理解Storm拓扑结构、spouts、bolts等组件的功能与开发。此外,书中还提供了不同语言开发Storm工程的实例,...

    storm-wordcount例子

    总结起来,storm-wordcount实例展示了Storm的基本工作原理和实时流处理能力,通过这个实例,开发者可以快速理解Storm的架构和编程模型,为进一步学习和应用Storm打下坚实基础。在实际项目中,我们可以借鉴storm-...

    storm实例,可以直接运行

    - Apache Storm的基本概念,如spout(数据源)、bolt(处理组件)、topology(拓扑结构)等。 - Java编程基础,因为cct.jar是一个Java应用程序。 - 熟悉命令行操作,能够理解和修改cmd.txt中的命令。 - 对分布式系统...

    storm-0.8.1压缩包

    标题中的"storm-0.8.1压缩包"指的是Apache Storm的一个特定版本,0.8.1,这是一个分布式实时计算系统。Apache Storm被广泛应用于实时...通过理解并熟练掌握Storm的基本概念和操作,开发者能够构建高效的数据处理系统。

    storm 学习资源总结

    Storm 的一些基本概念包括拓扑、元组、流、喷嘴、bolts 等。拓扑是一个实时处理程序的逻辑,元组是 storm 提供的一个轻量级的数据格式,流是 storm 中的核心抽象,由无限的元组组成。喷嘴是 storm 中流的来源,...

    Storm API实现词频统计

    Topology是Storm中的核心概念,它定义了数据如何在Spout和Bolt之间流动。在这个案例中,我们可以创建一个`WordCountTopology`,其中包含一个Spout和两个Bolt,用DAG(有向无环图)的形式连接它们:Spout -> ...

    storm0.9.0jar包

    - **Tuple**:Storm中的基本数据结构,表示数据流中的一个记录。 开发Storm应用时,你需要编写Spout和Bolt的实现,然后将它们组装成Topology,并提交到Storm集群。同时,还需要配置Storm的集群设置,如Nimbus和...

    Storm的WordCount实例

    首先,理解Storm的基本架构是至关重要的。Storm由多个组件构成,包括Topology(拓扑结构)、Spout(数据源)和Bolt(处理逻辑)。Topology定义了数据流的处理方式,Spout负责产生数据流,而Bolt则执行实际的数据处理...

    storm入门 PDF 下载

    【标题】"Storm入门"指的是对Apache Storm这一分布式实时计算系统的...这份PDF文件对于初学者来说是一份宝贵的资源,可以帮助他们快速掌握Storm的基本概念和操作。建议读者结合实际操作,边学边练,以加深理解和应用。

    apache-storm-2.4.0.tar.gz

    安装 Apache Storm 的基本步骤通常包括: 1. 下载 `apache-storm-2.4.0.tar.gz` 并解压到一个适当的目录。 2. 修改 `conf/storm.yaml` 配置文件,根据实际情况设置 ZooKeeper、nimbus、supervisor等节点的信息。 3. ...

    storm深入学习.pdf

    本文档主要讲解Storm的安装、配置和使用,涵盖了Storm的基本概念、安装过程、配置文件的解释和Storm的应用场景。 一、Storm安装 Storm安装过程主要包括安装ZeroMQ、jzmq、Python2.7.2和Storm四个步骤。 1. 安装...

    storm 流式处理 安装软件(包括zookeeper,jzmq,zeroMQ,storm)

    - 了解Storm的基本概念,如spout(数据源)、bolt(处理逻辑)、topology(拓扑结构)等。 - 掌握编写自定义spout和bolt的方法,熟悉Java或Clojure API。 - 学习如何设计高效的topology,考虑并行度、容错性和资源...

Global site tag (gtag.js) - Google Analytics