- 浏览: 56459 次
- 性别:
- 来自: 北京
文章分类
最新评论
一、安装Storm
wget http://www.apache.org/dyn/closer.lua/storm/apache-storm-1.0.3/apache-storm-1.0.3.tar.gz
tar xzvf ./apache-storm-1.0.3.tar.gz
二、新建data文件夹 mkdir data;查看目录:pwd
为strom配置本地目录作准备。
storm.local.dir: “/opt/ apache-storm-1.0.3 /data“【storm本地目录】
三、配置根目录conf/storm.yaml配置文件
注意配置字母前/冒号后,以空格开头:
最终配置如下:
storm.zookeeper.servers:
- "master"
- "slave"
drpc.servers:
- "master"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
- 6704
- 6705
- 6706
- 6707
ui.port: 8081
storm.local.dir: “/opt/apache-storm-1.0.3/data"
3.1 配置zk服务器
master\slave与计算机的hostname对应。主机名的配置文件大多是/etc/hosts。
例如:
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
127.0.0.1 localhost.localdomain localhost
192.168.1.195 debian.localdomain debian
一般情况下hosts的内容关于主机名(Hostname)的定义,每行为一个主机,每行由三部份组成,每个部份由空格隔开。其中#号开头的行做说明,不被系统解释。
第一部份:网络IP地址。
第二部份:主机名.域名,注意主机名和域名之间有个半角的点。
第三部份:主机名(主机名别名) ,其实就是主机名。
当然每行也可以是两部份,就是主机IP地址和主机名;比如 192.168.1.195 master
打开: storm.zookeeper.servers:
- "master“
- “slave“
打开: drpc.servers:
- "master“
3.2 配置slot端口号
supervisor.slots.ports:【slot端口号】提交top,每一个top有两个worker来工作,一个sport,一个blot,每个worker都会占用一个端口
3.3 配置stormUI端口号
3.4 配置storm本地目录
创建目录:根目录apache-storm-1.0.3下data文件夹
mkdir data;
pwd查看目录路径
增加配置文件目录路径:storm.local.dir: “/opt/apache-storm-1.0.3/data"
四、启动测试
Storm是一个快速失败(fail-fast)的系统,这意味着这些进程随时都可能因发生错误而停止。由于Storm的设计,所以它随时停止都是安全的,当进程重新启动时正确的恢复。这是为什么Storm保持进程无状态的原因-- 如果Nimbus或supervisors重新启动,正在运行的topologies是不受影响的。
1、先将配置好的storm,向各子节点各传一份。各子节点安装好storm所需插件。
2、配置好zookeeper中myid,启动zookeeper。
3、启动storm节点及UI,可用nohup挂到后台执行。“&”是后台的执行符,未有则命令行卡住不向下执行。
1)启动Nimbus
在master机器下运行命令”bin/storm nimbus &”,检验配置是否错误。
2)启动Supervisor
在每个worker机器下运行命令”bin/storm supervisor &”。Supervisor守护程序负责starting 和 stopping 那台机上的worker进程
3)启动UI
运行master机器下的命令”bin/storm ui &”来运行Storm UI(你能从浏览器访问一个站点,它提供集群和topologies的诊断信息)。在你的浏览器中输入” http://{nimbus host}:8081”访问UI。
3)启动logviewer
运行master机器下的命令”bin/storm logviewer &”查看工作日志。
wget http://www.apache.org/dyn/closer.lua/storm/apache-storm-1.0.3/apache-storm-1.0.3.tar.gz
tar xzvf ./apache-storm-1.0.3.tar.gz
二、新建data文件夹 mkdir data;查看目录:pwd
为strom配置本地目录作准备。
storm.local.dir: “/opt/ apache-storm-1.0.3 /data“【storm本地目录】
三、配置根目录conf/storm.yaml配置文件
注意配置字母前/冒号后,以空格开头:
最终配置如下:
引用
storm.zookeeper.servers:
- "master"
- "slave"
drpc.servers:
- "master"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
- 6704
- 6705
- 6706
- 6707
ui.port: 8081
storm.local.dir: “/opt/apache-storm-1.0.3/data"
3.1 配置zk服务器
master\slave与计算机的hostname对应。主机名的配置文件大多是/etc/hosts。
引用
例如:
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
127.0.0.1 localhost.localdomain localhost
192.168.1.195 debian.localdomain debian
一般情况下hosts的内容关于主机名(Hostname)的定义,每行为一个主机,每行由三部份组成,每个部份由空格隔开。其中#号开头的行做说明,不被系统解释。
第一部份:网络IP地址。
第二部份:主机名.域名,注意主机名和域名之间有个半角的点。
第三部份:主机名(主机名别名) ,其实就是主机名。
当然每行也可以是两部份,就是主机IP地址和主机名;比如 192.168.1.195 master
引用
打开: storm.zookeeper.servers:
- "master“
- “slave“
打开: drpc.servers:
- "master“
3.2 配置slot端口号
supervisor.slots.ports:【slot端口号】提交top,每一个top有两个worker来工作,一个sport,一个blot,每个worker都会占用一个端口
supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 - 6704 - 6705 - 6706 - 6707
3.3 配置stormUI端口号
ui.port: 8081
3.4 配置storm本地目录
创建目录:根目录apache-storm-1.0.3下data文件夹
mkdir data;
pwd查看目录路径
增加配置文件目录路径:storm.local.dir: “/opt/apache-storm-1.0.3/data"
四、启动测试
Storm是一个快速失败(fail-fast)的系统,这意味着这些进程随时都可能因发生错误而停止。由于Storm的设计,所以它随时停止都是安全的,当进程重新启动时正确的恢复。这是为什么Storm保持进程无状态的原因-- 如果Nimbus或supervisors重新启动,正在运行的topologies是不受影响的。
1、先将配置好的storm,向各子节点各传一份。各子节点安装好storm所需插件。
2、配置好zookeeper中myid,启动zookeeper。
3、启动storm节点及UI,可用nohup挂到后台执行。“&”是后台的执行符,未有则命令行卡住不向下执行。
1)启动Nimbus
在master机器下运行命令”bin/storm nimbus &”,检验配置是否错误。
2)启动Supervisor
在每个worker机器下运行命令”bin/storm supervisor &”。Supervisor守护程序负责starting 和 stopping 那台机上的worker进程
3)启动UI
运行master机器下的命令”bin/storm ui &”来运行Storm UI(你能从浏览器访问一个站点,它提供集群和topologies的诊断信息)。在你的浏览器中输入” http://{nimbus host}:8081”访问UI。
3)启动logviewer
运行master机器下的命令”bin/storm logviewer &”查看工作日志。
发表评论
-
ITridentSpout、FirstN(取Top N)实现、 流合并和join
2017-05-25 10:01 1029一、ITridentSpout 基于事务 static int ... -
Trident实战之计算网站PV
2017-05-24 13:24 6461、Trident实战之计算网站PV /** * ... -
Trident API和概念
2017-05-23 10:57 748一、Trident API——Spout ITride ... -
Trident入门
2017-05-22 13:44 513英文原址:https://github.com/nathanm ... -
分布式远程调用drpc实例
2017-05-22 10:53 415一、DRPC定义 分布式dRPC(distributed RP ... -
不透明分区事务IOpaquePartitionedTransactional实例
2017-05-22 10:54 6771、spout public class MyOpaq ... -
分区事务IPartitionedTransactionalSpout实例
2017-05-21 11:02 5801.分区事务spout public class My ... -
普通事务ITransactionalSpout实例之按天统计数据
2017-05-20 16:56 4841、普通事务Spout /** * 普通事务Spou ... -
普通事务ITransactionalSpout实例
2017-05-20 15:45 8191、普通事务Spout /** * 普通事务Spou ... -
Storm事务API
2017-05-19 16:00 611Spout ITransactionalSpout<T& ... -
Storm批处理事务原理详解
2017-05-19 15:54 2095事务:Storm容错机制通 ... -
集群统一启动和停止shell脚本开发
2017-05-17 09:56 4461、cd 2、ls -al 显示隐藏目录 3、rm -rf ... -
storm高并发UV统计
2017-05-14 22:05 1127统计高并发UV可行的方案(类似WordCount的计算去重wo ... -
storm高并发PV统计,利用zookeeper锁输出汇总值
2017-05-14 14:42 893汇总型方案: 1、shuffleGrouping下,pv(单线 ... -
storm高并发PV统计
2017-04-16 17:54 683一、PV统计思考 方案需要考虑分析多线程下,注意线程安全问题。 ... -
Storm高并发运用WordSum
2017-04-16 14:21 10671、创建发射所有字符串统计总个数及去重个数处理类 pub ... -
storm分组策略介绍
2017-04-16 11:46 700一、storm数据来源 Spout的数据源: MQ:直接流数 ... -
Storm高并发介绍
2017-04-16 10:18 586并发度: worker:指的是component (spo ... -
Storm 字符统计Demo
2017-04-14 13:57 5331、数据源读取,字符发射spout类 /** * 字符 ... -
Storm 本地模式
2017-04-09 22:25 393本地模式,是在eclipse等编译器编写strom运行文件 ...
相关推荐
### Storm配置项详解 #### 概述 Apache Storm是一款免费开源、分布式、高容错性的实时计算系统。Storm因其灵活性及高效性,在大数据处理领域占据了重要地位。本文将基于Storm 0.6.0版本,深入解析其核心配置项,...
Storm集群的部署和配置是构建实时大数据处理系统的关键步骤,本文将详细讲解这一过程。Storm是一个分布式实时计算系统,能够处理大规模数据流,确保每个事件都得到正确的处理。以下是搭建Storm集群的详细步骤: 1. ...
- `org.yaml.snakeyaml.scanner.ScannerException`是Storm配置过程中可能遇到的一个问题,通常是因为配置文件`storm.yaml`的格式错误。 - 示例中提到错误提示,建议检查`storm.yaml`文件中的简单键扫描问题。 #### ...
配置项是Storm的核心组成部分,它们用于定制Storm集群的行为,以适应不同的环境和需求。以下是对文档中提及的一些主要配置项的详细解释: 1. **storm.zookeeper.servers**:这是ZooKeeper服务器的列表,Storm使用...
- **配置**:编辑配置文件`storm.yaml`,设置Nimbus和Supervisor等关键参数。 **2.4 集成Kafka** 如果需要从Kafka获取数据流,还需要安装Kafka并与Storm集成。此过程包括Kafka的安装、配置以及开发适配器。 **2.5...
1. `bin` 目录:包含了启动、停止 Storm 服务的脚本,如 `storm.sh` 和其他管理工具。 2. `conf` 目录:存放配置文件,例如 `storm.yaml`,用户可以根据自己的需求进行修改。 3. `lib` 目录:包含 Storm 及其依赖的...
三、Storm启动和测试 1. 启动Storm:使用Storm的启动脚本启动Storm服务。 2. 测试Storm:使用Storm的测试工具测试Storm的正确性。 四、Storm深入学习 Storm是一个分布式实时计算系统,可以实时处理大量数据。...
5. 启动拓扑:提交拓扑到Storm集群,开始从Kafka读取和处理数据。 在处理数据时,Storm会维护一个内部offset(偏移量)来跟踪在Kafka中的位置,保证数据不丢失。`KafkaSpout`会自动处理容错和幂等性,确保在出现...
【标题】"storm集群启动与停止脚本共2页.pdf.zip" 提供的是一份关于storm集群管理的文档,主要涵盖了如何启动和停止storm集群的关键步骤。Storm是Apache开源的一个分布式实时计算系统,它能够处理大规模的数据流并...
例如,`storm jar my-storm-topology.jar com.exampleTopology.WordCountTopology`会启动名为WordCountTopology的拓扑。 描述中提到的"仅供参考"提示,这些资源可能包含示例代码和说明,帮助初学者理解如何在Storm ...
在Storm中,所有配置都是通过YAML格式的配置文件来设置的,通常这个配置文件存放在Storm的安装目录下的conf文件夹中,文件名为storm.yaml。下面详细介绍在Storm配置文件中可以设置的一些核心配置项。 1. storm....
4. **supervisor.jar**:Supervisors是Storm集群的工作节点,它们在本地启动并管理执行任务的worker进程。 5. **storm-ui.jar**:用户界面(UI)服务器,提供了监控和管理Storm集群的Web界面。 6. **lib目录**:包含...
10. `Storm.exe`:这是主执行文件,启动并管理整个Storm软件的运行。 这些文件一起构成了Storm_r1.1-Adarna的运行环境,通过WebService技术,Storm可能被设计用于数据处理、文件同步、分布式计算或者其他需要远程...
通过配置文件和Java API可以方便地定义复杂的计算逻辑。 3. **消息传递机制**:Storm通过Tuple来表示数据流中的单个元素,Tuple在Spout和Bolt之间传递。消息传递机制确保了数据流的可靠性和有序性。 4. **任务调度...
在本教程中,我们将详细介绍如何安装和配置Apache Storm 1.0.6版本。 首先,了解Storm的核心概念是必要的。Storm包含以下几个主要组件: 1. **Nimbus**:作为Master节点,负责任务调度和资源分配,确保工作负载在...
Apache Storm 1.1.0 的单节点部署相对简单,主要涉及下载安装包、配置 storm.yaml、启动 ZooKeeper 和 Storm 的各个组件。在实际操作中,确保正确配置和启动服务是关键,同时,理解 Storm 的架构和组件功能有助于更...
- 启动Zookeeper、Storm、Kafka以及Flume服务。 - 使用telnet向Flume发送数据。 - Storm将处理Flume收集的数据,并执行相应的分析任务。 通过以上步骤,我们可以构建出一个完整的Flume+kafka+Storm数据流处理...
它是一个集成了173个JAR文件的压缩文件,这些JAR文件涵盖了Storm框架的各个组成部分,包括核心库、 Nimbus(主控节点)服务、Supervisor(工作节点)服务、Zookeeper协调服务、配置文件以及各种依赖的第三方库。...