`
小网客
  • 浏览: 1241390 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

storm平台之概述

 
阅读更多

storm平台概述

Storm平台是一个分布式实时计算系统,他可以用来处理源源不断流进来的消息,处理之后将结果写入到某个存储中去。授权协议为EPL,开发语言基本是Clojure,部分Java

storm平台进程

共包括了3个主要的进程,详情如下:

 

进程名

启动脚本

概述说明

Nimbus

bin/storm nimbus >/dev/null 2>&1 &

类似HadoopJobTracker,负责资源分配和任务调度,在主控节点上运行

Supervisor

bin/storm supervisor >/dev/null 2>&1 &

类似HadoopTaskTracker,负责接受nimbus分配的任务,启动和停止属于自己管理的worker进程。

UI

bin/storm ui >/dev/null 2>&1 &

观察集群的worker资源使用情况、Topologies的运行状态等信息,通过http://{nimbus host}:8080访问,在Storm主控节点上启动。

0
5
分享到:
评论

相关推荐

    Storm入门到精通

    下面是对 Storm 的一个概述,从基础知识到实践应用。 Storm 组件 Storm 的核心组件包括: * Nimbus:Storm 的主控节点,负责管理整个拓扑结构。 * Supervisor:Storm 的工作节点,负责执行拓扑结构。 * Worker:...

    StormStorm集成Kafka 从Kafka中读取数据

    将两者结合,可以构建出强大的实时数据处理平台。 **二、写入数据到Kafka** 在Storm-Kafka集成中,首先需要将数据写入Kafka。这通常通过生产者(Producer)完成。生产者连接到Kafka集群,创建主题(Topic),然后...

    Storm 源码分析

    - **统一平台**:在一些大数据平台中,Storm和Hadoop可以共同部署在同一集群内,通过YARN进行资源管理。 #### 七、总结 通过本文对Storm源码的分析,我们深入了解了Storm的架构、工作原理以及核心组件的实现细节。...

    Storm笔记-PPT

    **Storm笔记概述** Storm是一个分布式实时计算系统,由Twitter开源并广泛应用于实时数据处理领域。本笔记主要围绕Storm的核心概念、起源、架构、组件、原理以及应用场景进行详细讲解。 **一、Storm概念** Storm...

    Twitter storm

    Storm 的设计目标是提供一个简单易用、可扩展且容错性高的平台,用于处理无界数据流(即持续不断地产生数据的数据流),并且能够保证消息的可靠传输。 Storm 与 Hadoop 类似,但主要针对的是实时数据处理,而Hadoop...

    storm on yarn概念架构消息机制概述

    Storm是一个开源的实时计算系统,它的设计理念和传统的大数据处理框架MapReduce不同。MapReduce是批量处理,而Storm是流处理,它关注的是数据的持续处理和实时性,能够实现实时计算和连续计算的业务需求。Storm的...

    Flume+kafka+Storm整合

    #### 一、Flume、Kafka与Storm概述 在大数据领域,数据采集、传输与实时处理是至关重要的环节。本篇内容重点介绍了如何利用Flume、Kafka与Storm这三个开源工具实现一套完整的实时数据流处理系统。 **Flume** 是一...

    基于Storm流计算天猫双十一作战室项目实战

    - **项目概述**:本课程通过三个完整的Storm项目实战,确保学习者能够将理论知识快速转化为实践能力。这些项目涵盖了从数据采集、处理到最终结果展示的全流程,使学员能够全面理解并掌握Storm在企业级应用中的具体...

    第一章大数据平台概述 (3).docx

    【大数据平台概述】 大数据平台是应对现代信息化社会中海量数据挑战的关键工具,它整合了各种技术,以处理、存储和分析大规模数据。随着大数据时代的到来,数据已经成为了推动各行各业发展的新生产资料。传统数据库...

    大数据技术之Storm.doc

    #### 一、Storm概述 **1.1 离线计算** 离线计算是指对于数据进行批量处理的过程,主要包括数据的批量获取、批量传输以及周期性的批量计算和展示。典型的离线计算技术包括: - **Sqoop**:用于批量导入数据至Hadoop...

    storm_webservice.zip

    以上是对基于Storm的Web服务的概述,具体到"Storm_r1.1-Adarna"的实现,还需要查看源码或文档以获取更多细节。例如,它可能包含特定的实时处理逻辑、如何与外部系统交互、如何配置和部署到Storm集群等。在实际应用中...

    storm1.0 搭建

    #### 一、概述 Storm 是一个开源的分布式实时计算系统,能够处理大规模数据流。Storm 1.0 版本相较于之前的版本,在架构上进行了较大的改进,使得其在部署、管理以及性能上都有显著提升。本文将详细介绍如何搭建一...

    Storm实现的应用模型研究

    #### 一、Storm概述 Storm是一种开源的分布式实时计算框架,由Twitter公司开发并开源。它能够高效、可靠地处理大量的数据流,适用于实时数据分析、在线机器学习、持续计算、ETL(提取、转换、加载)、分布式RPC...

    hadoop storm hbase spark

    它由Apache基金会维护,并且是构建大数据应用的基础平台之一。Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce。 #### 2. HDFS详解 - **概念**:HDFS是一种分布式文件系统,设计用于在商用...

    基于storm海量数据的实时聚类

    综上所述,Storm为实时数据处理提供了一个强大的平台,尤其适用于需要快速响应的大规模数据流应用场景。通过合理设计Topology并选用合适的聚类算法,可以在Storm框架下高效地完成实时聚类任务。未来随着技术的发展,...

    实时计算Storm核心技术及其在报文系统中的应用.pdf

    传统批处理系统难以满足对这类数据的实时处理需求,因此诞生了Storm这样的实时计算平台。Twitter于2011年开源Storm,它提供了对大规模、无界数据流进行连续计算的能力,保证了数据处理的低延迟和高可靠性。 1.2 我...

    storm实时计算

    #### 一、Storm概述 Storm是一种分布式的实时计算框架,能够高效地处理大量的数据流,并且具有低延迟的特点。相比于传统的批处理方式,Storm提供了更实时的数据处理能力,使得它在大数据领域特别是实时数据分析场景...

    Apache_STORM日志分析探索.pdf

    通过架构概述,可以看出STORM在日志源处理、日志过滤、入侵特征分割、检测固定接口和匹配规则加载等方面均有其独到之处,从而确保了对日志的高效处理能力。 总的来说,STORM提供了一个强大的实时数据处理能力,特别...

    Storm整合Kafka

    1. **Storm概述**: Apache Storm是一个开源的分布式实时计算系统,它可以持续处理无界数据流,确保每个消息至少被处理一次(At-least-once语义)。Storm设计灵活,可与其他大数据系统(如Hadoop)集成,广泛应用于...

Global site tag (gtag.js) - Google Analytics