`

Storm启动配置

 
阅读更多
一、安装Storm
    wget   http://www.apache.org/dyn/closer.lua/storm/apache-storm-1.0.3/apache-storm-1.0.3.tar.gz
    tar xzvf  ./apache-storm-1.0.3.tar.gz

二、新建data文件夹 mkdir data;查看目录:pwd
      为strom配置本地目录作准备。
      storm.local.dir: “/opt/ apache-storm-1.0.3 /data“【storm本地目录】

三、配置根目录conf/storm.yaml配置文件

注意配置字母前/冒号后,以空格开头:

最终配置如下:
引用

storm.zookeeper.servers:
- "master"
- "slave"

drpc.servers:
- "master"

supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
- 6704
- 6705
- 6706
- 6707

ui.port: 8081

storm.local.dir: “/opt/apache-storm-1.0.3/data"



3.1 配置zk服务器
master\slave与计算机的hostname对应。主机名的配置文件大多是/etc/hosts。
引用

例如:
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
127.0.0.1   localhost.localdomain localhost
192.168.1.195  debian.localdomain debian
一般情况下hosts的内容关于主机名(Hostname)的定义,每行为一个主机,每行由三部份组成,每个部份由空格隔开。其中#号开头的行做说明,不被系统解释。
第一部份:网络IP地址。
第二部份:主机名.域名,注意主机名和域名之间有个半角的点。
第三部份:主机名(主机名别名) ,其实就是主机名。
当然每行也可以是两部份,就是主机IP地址和主机名;比如 192.168.1.195 master

引用

打开: storm.zookeeper.servers:
     - "master“
     - “slave“
打开: drpc.servers:
     - "master“


3.2  配置slot端口号
   supervisor.slots.ports:【slot端口号】提交top,每一个top有两个worker来工作,一个sport,一个blot,每个worker都会占用一个端口
 supervisor.slots.ports:
 - 6700
 - 6701
 - 6702
 - 6703
 - 6704
 - 6705
 - 6706
 - 6707


3.3 配置stormUI端口号
ui.port: 8081


3.4 配置storm本地目录
  创建目录:根目录apache-storm-1.0.3下data文件夹
    mkdir data;
    pwd查看目录路径
  增加配置文件目录路径:storm.local.dir: “/opt/apache-storm-1.0.3/data"

四、启动测试
Storm是一个快速失败(fail-fast)的系统,这意味着这些进程随时都可能因发生错误而停止。由于Storm的设计,所以它随时停止都是安全的,当进程重新启动时正确的恢复。这是为什么Storm保持进程无状态的原因-- 如果Nimbus或supervisors重新启动,正在运行的topologies是不受影响的。

1、先将配置好的storm,向各子节点各传一份。各子节点安装好storm所需插件。

2、配置好zookeeper中myid,启动zookeeper。

3、启动storm节点及UI,可用nohup挂到后台执行。“&”是后台的执行符,未有则命令行卡住不向下执行。
1)启动Nimbus
   在master机器下运行命令”bin/storm nimbus &”,检验配置是否错误。
2)启动Supervisor
   在每个worker机器下运行命令”bin/storm supervisor &”。Supervisor守护程序负责starting 和 stopping 那台机上的worker进程
3)启动UI
  运行master机器下的命令”bin/storm ui &”来运行Storm UI(你能从浏览器访问一个站点,它提供集群和topologies的诊断信息)。在你的浏览器中输入” http://{nimbus host}:8081”访问UI。
3)启动logviewer
  运行master机器下的命令”bin/storm logviewer &”查看工作日志。







分享到:
评论

相关推荐

    Storm配置项详解

    ### Storm配置项详解 #### 概述 Apache Storm是一款免费开源、分布式、高容错性的实时计算系统。Storm因其灵活性及高效性,在大数据处理领域占据了重要地位。本文将基于Storm 0.6.0版本,深入解析其核心配置项,...

    storm集群部署和配置过程详解

    Storm集群的部署和配置是构建实时大数据处理系统的关键步骤,本文将详细讲解这一过程。Storm是一个分布式实时计算系统,能够处理大规模数据流,确保每个事件都得到正确的处理。以下是搭建Storm集群的详细步骤: 1. ...

    StormStorm集成Kafka 从Kafka中读取数据

    5. 启动拓扑:提交拓扑到Storm集群,开始从Kafka读取和处理数据。 在处理数据时,Storm会维护一个内部offset(偏移量)来跟踪在Kafka中的位置,保证数据不丢失。`KafkaSpout`会自动处理容错和幂等性,确保在出现...

    storm配置文档.pdf

    - `org.yaml.snakeyaml.scanner.ScannerException`是Storm配置过程中可能遇到的一个问题,通常是因为配置文件`storm.yaml`的格式错误。 - 示例中提到错误提示,建议检查`storm.yaml`文件中的简单键扫描问题。 #### ...

    Storm配置项详解.docx

    配置项是Storm的核心组成部分,它们用于定制Storm集群的行为,以适应不同的环境和需求。以下是对文档中提及的一些主要配置项的详细解释: 1. **storm.zookeeper.servers**:这是ZooKeeper服务器的列表,Storm使用...

    细细品味Storm_Storm简介及安装

    - **配置**:编辑配置文件`storm.yaml`,设置Nimbus和Supervisor等关键参数。 **2.4 集成Kafka** 如果需要从Kafka获取数据流,还需要安装Kafka并与Storm集成。此过程包括Kafka的安装、配置以及开发适配器。 **2.5...

    apache-storm-2.4.0.tar.gz

    1. `bin` 目录:包含了启动、停止 Storm 服务的脚本,如 `storm.sh` 和其他管理工具。 2. `conf` 目录:存放配置文件,例如 `storm.yaml`,用户可以根据自己的需求进行修改。 3. `lib` 目录:包含 Storm 及其依赖的...

    storm深入学习.pdf

    三、Storm启动和测试 1. 启动Storm:使用Storm的启动脚本启动Storm服务。 2. 测试Storm:使用Storm的测试工具测试Storm的正确性。 四、Storm深入学习 Storm是一个分布式实时计算系统,可以实时处理大量数据。...

    storm集群启动与停止脚本共2页.pdf.zip

    【标题】"storm集群启动与停止脚本共2页.pdf.zip" 提供的是一份关于storm集群管理的文档,主要涵盖了如何启动和停止storm集群的关键步骤。Storm是Apache开源的一个分布式实时计算系统,它能够处理大规模的数据流并...

    storm开发jar包以及storm例子源码

    例如,`storm jar my-storm-topology.jar com.exampleTopology.WordCountTopology`会启动名为WordCountTopology的拓扑。 描述中提到的"仅供参考"提示,这些资源可能包含示例代码和说明,帮助初学者理解如何在Storm ...

    Storm配置详解

    在Storm中,所有配置都是通过YAML格式的配置文件来设置的,通常这个配置文件存放在Storm的安装目录下的conf文件夹中,文件名为storm.yaml。下面详细介绍在Storm配置文件中可以设置的一些核心配置项。 1. storm....

    storm0.9.0jar包

    4. **supervisor.jar**:Supervisors是Storm集群的工作节点,它们在本地启动并管理执行任务的worker进程。 5. **storm-ui.jar**:用户界面(UI)服务器,提供了监控和管理Storm集群的Web界面。 6. **lib目录**:包含...

    Storm_r1.1-Adarna

    10. `Storm.exe`:这是主执行文件,启动并管理整个Storm软件的运行。 这些文件一起构成了Storm_r1.1-Adarna的运行环境,通过WebService技术,Storm可能被设计用于数据处理、文件同步、分布式计算或者其他需要远程...

    Storm 源码分析

    通过配置文件和Java API可以方便地定义复杂的计算逻辑。 3. **消息传递机制**:Storm通过Tuple来表示数据流中的单个元素,Tuple在Spout和Bolt之间传递。消息传递机制确保了数据流的可靠性和有序性。 4. **任务调度...

    storm安装包

    在本教程中,我们将详细介绍如何安装和配置Apache Storm 1.0.6版本。 首先,了解Storm的核心概念是必要的。Storm包含以下几个主要组件: 1. **Nimbus**:作为Master节点,负责任务调度和资源分配,确保工作负载在...

    storm1.1.0版本单节点部署

    Apache Storm 1.1.0 的单节点部署相对简单,主要涉及下载安装包、配置 storm.yaml、启动 ZooKeeper 和 Storm 的各个组件。在实际操作中,确保正确配置和启动服务是关键,同时,理解 Storm 的架构和组件功能有助于更...

    Flume+kafka+Storm整合

    - 启动Zookeeper、Storm、Kafka以及Flume服务。 - 使用telnet向Flume发送数据。 - Storm将处理Flume收集的数据,并执行相应的分析任务。 通过以上步骤,我们可以构建出一个完整的Flume+kafka+Storm数据流处理...

    storm_jars.zip

    它是一个集成了173个JAR文件的压缩文件,这些JAR文件涵盖了Storm框架的各个组成部分,包括核心库、 Nimbus(主控节点)服务、Supervisor(工作节点)服务、Zookeeper协调服务、配置文件以及各种依赖的第三方库。...

Global site tag (gtag.js) - Google Analytics