原创转载请注明出处:http://agilestyle.iteye.com/blog/2292067
前期准备
storm环境变量
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77 export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4 export HIVE_HOME=/home/hadoop/app/apache-hive-1.2.1-bin export HBASE_HOME=/home/hadoop/app/hbase-1.1.4 export STORM_HOME=/home/hadoop/app/apache-storm-1.0.0 export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper-3.4.8 export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin:${HBASE_HOME}/bin:${STORM_HOME}/bin:${ZOO KEEPER_HOME}/bin
配置Storm集群
修改conf的目录下的storm.yaml —— vi storm.yaml
storm.zookeeper.servers: - "hadoop-0000" - "hadoop-0001" - "hadoop-0002" nimbus.seeds: ["hadoop-0002"]
保存退出之后,scp到其他两台Server上
scp -r apache-storm-1.0.0/ hadoop-0001:/home/hadoop/app/ scp -r apache-storm-1.0.0/ hadoop-0002:/home/hadoop/app/
启动Storm集群
首先启动nimbus主机(这里配置的是hadoop-0002)
storm nimbus
启动nimbus的UI
storm ui
jps查看进程
http://hadoop-0002:8080/index.html
接着分别在其他两台Server上启动supervisor(这里配置的是hadoop-0000,hadoop-0001)
storm supervisor
JPS查看进程
再次查看Storm UI
这里仅仅是为了演示,以后启动执行以下命令
解析:dev启动一个记录日志文件,名为null, 1表示标准输出,2表示错误输出, 2>&1表示将标准出错重定向到标准输出,最后一个&表示后台执行
nimbus主机上启动
storm nimbus 1>/dev/null 2>&1 & storm ui 1>/dev/null 2>&1 &
supervisor主机上启动
storm supervisor 1>/dev/null 2>&1 &
相关推荐
在本压缩包“storm集群搭建Java客户端测试代码.zip”中,包含了有关Apache Storm集群的搭建教程以及使用Java客户端进行测试的代码示例。Apache Storm是一个分布式实时计算系统,它允许开发者处理无界数据流,常用于...
ApacheStorm集群搭建[整理].pdf
1、查看nimbus的日志信息 2、查看ui运行日志信息 3、查看supervisor运行日志信息 4、查看supervisor上worker运行日志信息 5、
本文将详细介绍Storm集群环境搭建的步骤,包括集群规划、前置条件、集群搭建、安装包分发、启动集群和高可用验证等方面。 一、集群规划 Storm集群环境搭建需要考虑多台服务器的规划,以确保高可用和负载均衡。在...
【描述】:这份资源包含了关于Storm集群搭建的实战课程代码和配套的PPT讲解材料,是学习和掌握Apache Storm分布式流处理系统的重要参考资料。 【标签】:代码 【知识点详解】: 1. **Apache Storm**:Apache ...
2. **Apache Storm集群搭建部署**: - Apache Storm是一个开源的实时计算系统,用于处理大规模的数据流,常用于实时数据分析和处理。 - 部署Storm需要下载最新版本的Storm,同样需要JDK支持。 - 配置`storm.yaml`...
本篇文章将详细解析如何进行Storm的部署,包括所需的依赖RPM包以及集群搭建步骤。 首先,Storm部署前需要准备的依赖RPM包主要包括Java开发环境(JDK)、Zookeeper、Nimbus、Supervisor和UI等组件。JDK是运行Storm的...
storm集群环境搭建文档
Storm集群的搭建是大数据处理中的一个重要环节,尤其对于需要实时分析和处理连续数据流的应用场景,如实时日志分析、社交网络分析等。本资料包提供了一个基于Java的示例代码,将帮助我们了解如何在Java环境中配置和...
01、Storm的集群搭建 01-storm简介.avi
01、Storm的集群搭建 04-storm部署概念.avi
01、Storm的集群搭建 03-storm部署-2.avi
### 从零开始搭建Storm集群 #### 一、概述 Apache Storm 是一款开源的大规模实时计算系统,类似于Hadoop处理批量数据,Storm处理的是实时数据流。它支持各种编程语言,能够实现高吞吐量、低延迟的数据处理,并且...
### Storm 1.0 集群搭建详解 #### 一、概述 Storm 是一个开源的分布式实时计算系统,能够处理大规模数据流。Storm 1.0 版本相较于之前的版本,在架构上进行了较大的改进,使得其在部署、管理以及性能上都有显著...
5. **本地集群搭建**:在本地机器上,你可以使用`storm local`命令快速启动一个本地模式的Storm集群,以便于调试。首先,确保已下载并安装了Storm,然后在Storm的bin目录下运行: ``` storm local ``` 这将在...