`

storm 的安装使用

 
阅读更多

 

storm 应用场景:事实的数据流处理 

大数据系列:

 

1、安装一个zookeeper集群

 

2、上传storm的安装包,解压

 

3、修改配置文件storm.yaml

 

#所使用的zookeeper集群主机

storm.zookeeper.servers:

     - "weekend05"

     - "weekend06"

     - "weekend07"

 

#nimbus所在的主机名

nimbus.host: "weekend05"

#启动进程数  即worker数,下面数字是端口号

supervisor.slots.ports

-6701

-6702

-6703

-6704

-6705

 

 

启动storm

在nimbus主机上(后面参数不添加,则是客户端启动)

nohup ./storm nimbus 1>/dev/null 2>&1 &

nohup ./storm ui 1>/dev/null 2>&1 &

 

在supervisor主机上

nohup ./storm supervisor 1>/dev/null 2>&1 &

 

UI启动后通过8080访问: http://cloud1:8080/

 

 

Storm 安装后将测试程序打为jar包 到storm的nimbus机器中执行

./storm jar jar名称  jar的主类名称        提交后程序会一直在后台运行,就算机器关机后重启一样会继续运行  

 

./storm list 查看运行的storm程序 

./storm kill storm程序名称  就可以停止运行的程序

 

 

几个名词理解:worker ,Executor , Spout/Bolt  

一个storm程序会在多个机器运行,每个机器有多个进程(worker) ,

每个进程有多个线程(Executor)

每个线程又运行着若干个相同的Task(Spout/Bolt)

 

 

 jps 线程:core  nimbus  supervisor

 

分享到:
评论

相关推荐

    storm安装所需

    0-检查gcc,python版本:python -V,要有gcc-c++ 1-jdk安装 2-解压缩zk 3-安装zeromq configure: error: cannot link with -luuid, install uuid-dev rpm -ivh uuid-1.6.1-10.el6.x86_64.rpm ...修改/etc/hosts,storm.yaml

    storm组件安装部署.doc

    【Storm组件安装部署】 Storm是一个开源的分布式实时流计算框架,它被广泛应用于实时日志分析、个性化推荐、实时监控等多个领域。这个文档主要聚焦于如何在单机环境下部署和运行Storm,尤其针对CentOS 6.4系统,...

    细细品味Storm_Storm简介及安装

    #### 二、Storm安装 **2.1 版本选择** 在安装之前,应先了解所需的Storm版本及其兼容性。通常建议使用最新的稳定版本。 **2.2 安装Zookeeper** 由于Zookeeper在Storm集群中扮演着协调角色,因此首先需要安装...

    Storm编程实践(安装Maven-使用Maven编译运行代码-mvn 打包)

    Storm 编程实践(安装 Maven-使用 Maven 编译运行代码-mvn 打包) 本文档介绍了 Storm 编程实践的实践报告,涵盖了安装 Maven、使用 Maven 编译运行代码和 mvn 打包等内容。报告中还包括了实验环境的配置、实验内容...

    storm安装笔记.txt

    storm安装笔记

    storm单本安装及集群安装配置

    storm单本安装及集群安装配置,详情见文档,另需要注意storm.yaml的配置。

    storm集群安装与运维.doc

    storm集群安装与运维.doc

    zk-kafka-redis-storm安装

    在"zk-kafka-redis-storm安装"过程中,首先需要安装Zookeeper,确保集群的协调和数据一致性。接着是Kafka的部署,设置好broker配置、创建主题并配置消费者和生产者。安装Redis时要注意选择合适的版本,配置网络参数...

    storm入门.pdf

    搭建Storm开发环境需要安装Java运行环境和Apache Storm软件包,并配置相应的环境变量。此外,还需要搭建Zookeeper集群来协调Storm集群的工作。 除了书籍《Getting Started with Storm》之外,还有一些社区和网站...

    storm安装软件包

    在"storm安装软件包"中,提供的"apache-storm-0.10.0"是Apache Storm 的一个特定版本,0.10.0 是其历史版本之一。这个版本可能包含了Storm的核心组件和相关的依赖库,使得用户能够快速地在本地或集群环境中搭建起...

    storm1.1.0版本单节点部署

    Storm 1.1.0 单节点部署指南 Apache Storm 是一个开源的分布式实时计算系统,它...在实际操作中,确保正确配置和启动服务是关键,同时,理解 Storm 的架构和组件功能有助于更好地管理和使用这个强大的实时计算框架。

    Storm集群安装部署步骤

    Storm集群安装部署步骤,一步一步记录了作者亲自实践部署的过程,包括遇到的错误解决办法

    storm0.9x安装所需所有包(全)

    【描述】中提到的"一直没找到真正齐全可用的storm安装所需包",表明了在安装Storm的过程中可能会遇到一些困难,因为完整的依赖包集合并不总是易于获取。这通常涉及到多个组件,包括Storm的核心库、依赖的JAR包、配置...

    storm 流式处理 安装软件(包括zookeeper,jzmq,zeroMQ,storm)

    6. **验证安装**: 使用`bin/storm version`命令检查Storm是否正常运行。 **学习与实践** - 了解Storm的基本概念,如spout(数据源)、bolt(处理逻辑)、topology(拓扑结构)等。 - 掌握编写自定义spout和bolt的...

    Storm入门到精通

    要开始使用 Storm,首先需要安装 Storm,然后创建一个新的工程。下面是一个简单的 Hello World 例子: * 首先,创建一个新的 Maven 工程,並添加 Storm 的依赖项。 * 然后,创建一个新的 Java 类,继承自 Storm 的 ...

    apache-storm-2.4.0.tar.gz

    在标签中,"storm 安装包" 暗示了这个文件的用途,即它是 Apache Storm 的安装或部署资源,用户可以通过解压并按照特定步骤安装来在自己的环境中使用 Storm。 压缩包子文件的文件名称 "apache-storm-2.4.0" 暂时...

    storm深入学习.pdf

    Storm安装过程主要包括安装ZeroMQ、jzmq、Python2.7.2和Storm四个步骤。 1. 安装ZeroMQ:首先,需要下载ZeroMQ的源代码,使用wget命令下载,然后解压缩并安装。 2. 安装jzmq:下载jzmq的源代码,使用git clone命令...

Global site tag (gtag.js) - Google Analytics