Storm简介

Storm

----------------------------------------

实时计算系统。

使用场景：实时分析，在线机器学习，持续计算。

速度快，每秒每节点处理数据百万tuple级别。

无状态，集群状态和分布式环境信息在zk中保存。

确保每个消息至少被消费一次。

 

 

Storm核心概念

--------------------------------------

1. Tuple 元组，数据结构，有序的元素列表。通常是任意类型的数据，使用逗号分隔，交给storm计算。

2. Stream 无序的tuple集合。

3. Spouts：水龙头， 数据源

4. Bolts：转接头。 逻辑处理单元，spout传数据给bolt，bolt处理后产生新的数据，可以filter、聚合、分组。 流程： 接收数据-->处理-->输出给bolt（可以多个）。

5. Toplogy：拓扑， Spouts和Bolts的连接形成Topology。简单讲Topology是一个有向图，点是计算，边是数据流。

6. Task ： spout或bolt的执行。 a task is either the execution of a spout or a bolt. At a given time, each spout and bolt can have multiple instances running in multiple separate threads.

7. Workers：工作节点，Task的执行者。Storm在workers之间均衡分发任务，worker负责监听并执行job。

8. Stream grouping: 控制tuples如何在Topology中进行路由。Storm内置的有四种路由策略：

Shuffle grouping：  tuples在所有workers间随机路由。

Field grouping：将tuples按Filed进行分组，相同的Fileds被分配到同一个worker。

Global grouping：将所有tuples分配到同一个worker。

All grouping: 将一个puple分发给所有workers。

 

 

 Storm组件

------------------------------------------------

a. Nimbus :灵气 master node

Master node is responsible for distributing data among all the worker nodes, assign tasks to worker nodes and monitoring failures.

 

b. Supervisor: 监督人

它拥有多个worker process，负责监督管理worker process来完成Nimbus分配的任务。 A supervisor has multiple worker processes and it governs worker processes to complete the tasks assigned by the nimbus.

 

c. Worker process  

负责执行具体的Topology，它并不自己运行task，而是创建多个executors，让他们去执行。 A worker process will execute tasks related to a specific topology. A worker process will not run a task by itself, instead it creates executors and asks them to perform a particular task. A worker process will have multiple executors.

 

d. Executor  

Worker process 的一个线程，一个Exector只能为一个特定的Spout或Bolt执行一个或多个Task。 An executor is nothing but a single thread spawn by a worker process. An executor runs one or more tasks but only for a specific spout or bolt.

 

e. Task

A task performs actual data processing. So, it is either a spout or a bolt.

 

 

Storm工作流

1. Nimbus 等待新Topology的提交。

2. Topology提交后，Nimbus收集所有可用的tasks，并不组织tasks的顺序。

3. Nimbus将所有tasks平均分配到所有可用的Supervisors。

4. 每隔一段时间，Supervisors会向Nimbus发送心跳包表明它还活着。

5. 当一个Supervisor不再发送心跳包，Nimbus会把tasks发送给其它Supervisors。

6. 当Bimbus死掉，Supervisors会继续执行已分配的任务，不会产生差错。

7. 当所有tasks执行完成，Supervisor会等待新的tasks。

8. 同时，死掉的Nimbus会被监控工具开启。

9. 重启的Nimbus会从上次停止的地方继续工作。Storm担保所有的task至少被执行一次。

10. 一旦所有的Topology执行完成，Nimbus会接收新的Topology，Supervisor会接收新的task。

 

 

 Storm运行模式

------------------------------------

1. Local Mode   在同一个JVM中执行

2. Production Mode  在集群中执行

 

 

参考：

https://www.tutorialspoint.com/apache_storm/index.htm