Storm集群的安装分为以下几步:
1、首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装
2、释放压缩包
3、修改storm.yaml添加集群配置信息
4、使用storm脚本启动相应服务并查看服务状态
5、通过web查看storm集群的状态
安装Storm之前首先保证之前安装的Zookeeper服务正常运行,包括配置hosts映射,主机名修改,防火墙都已经设置完好
Storm是由java编写,因此必须依赖JDK运行,系统首先应正确安装JDK
部分需要依赖Python,红帽系列Linux默认Python版本是2.6.6,可以满足要求;Linux可以安装多个版本Python共存,生产过程中建议Python版本为2.7.x
这里测试使用的三台虚拟机主机名分别是:hadoopha,hadoop1,hadoop2
首先去Apache Storm官网下载安装包,网址是:http://storm.apache.org/,进入后点击上方DOWNLOAD按钮,进入下载列表
这里下载的是storm 0.9.5的版本,下载之后上传到服务器目录下,释放并且放到指定的目录:
$ tar -xvzf apache-storm-0.9.5.tar.gz $ mv apache-storm-0.9.5 /usr/ $ cd /usr/apache-storm-0.9.5
接下来需要修改配置文件storm.yaml,执行vim conf/storm.yaml打开文件:
去掉storm.zookeeper.servers:前面的注释,修改为集群中所有部署zookeeper的主机,当然都可以自己手动添加,具体配置如下:
增加storm.local.dir选项,指定nimbus,supervisor进程用于存储少量的状态数据,比如jar包,配置文件等
待会写好配置文件我们需要手动建立这个目录
下面指定supervisor工作节点,需要配置该节点可以运行的worker数量,每个worker占用一个端口用于接收消息,最多分配5个;默认情况下每个节点可以运行4个worker,分别在6700、6701、6702、6703端口,这里定义3个端口,代表最多运行3个worker:
下面设置集群主机,让集群中所有的节点可以从主机下载拓扑以及配置文件,主机上运行的就是nimbus,而其他节点就是supervisor进程,这里hadoopha为nimbus,而hadoop1和hadoop2为supervisor,所以配置如下:
下面配置storm集群的drpc地址,这里就是hadoopha,实际中可以自己定义:
最后配置storm进程的分配内存,默认情况下Storm启动worker进程时,JVM的最大内存是768M,由于在使用过程中,Bolt中加载大量数据,768M内存无法满足要求,会导致内存溢出,应该根据实际情况进行修改,这里设置为2G
以上设置没问题,保存配置文件并退出
然后在3台主机分别创建上面设置的数据目录,必须都要创建:
mkdir -p /usr/data/storm
上面的配置是在hadoopha上配置的,接下来要把storm目录发送到hadoop1和hadoop2:
$ scp -r apache-storm-0.9.5 hadoop1:/usr/ $ scp -r apache-storm-0.9.5 hadoop2:/usr/
发送之后,进入storm安装目录,开始启动相应服务
首先启动Nimbus服务,只在hadoopha上执行:
nohup bin/storm nimbus >> /dev/null &
上面命令的意思是丢弃输出信息并且放到后台执行,稍微等一下,执行jps查看nimbus进程是否启动:
然后在hadoop1,hadoop2节点都启动Supervisor服务:
nohup bin/storm supervisor >> /dev/null &
稍等一下,也可以用jps查看到supervisor进程,
然后在配置drpc的主机hadoopha,drpc是一种后台服务,用于执行和storm相同的计算,但是比较节省资源,一般和nimbus使用同一台主机即可;执行以下命令启动drpc服务:
nohup bin/storm drpc >> /dev/null &
稍等一下可以分别通过jps命令查看到drpc进程,
最后在nimbus节点也就是hadoopha执行以下命令,启动UI服务:
nohup bin/storm ui >> /dev/null &
通过jps可以查看core进程是否启动,启动之后通过访问hadoopha的ip即可进入web管理界面:http://192.168.1.42:8080
到这里基本的storm集群就配置完毕了
相关推荐
storm单本安装及集群安装配置,详情见文档,另需要注意storm.yaml的配置。
Storm集群的部署和配置是构建实时大数据处理系统的关键步骤,本文将详细讲解这一过程。Storm是一个分布式实时计算系统,能够处理大规模数据流,确保每个事件都得到正确的处理。以下是搭建Storm集群的详细步骤: 1. ...
整个过程分为三个主要部分:Java环境(JDK)的安装、Zookeeper集群的配置以及Storm集群的具体安装。 #### 二、安装前准备 在开始任何安装之前,请确保已经做好以下准备工作: - **硬件准备**:至少三台物理或虚拟机...
3. 安装Storm集群涉及以下步骤: a. 首先搭建Zookeeper集群,Zookeeper是Apache的一个子项目,提供分布式协调服务,是Storm集群稳定运行的基础。 b. 在所有参与集群的节点上安装必要的依赖库,包括Java 6和Python ...
Storm集群环境搭建是指在多台服务器上安装和配置Storm集群,实现高可用和负载均衡。Storm是一个分布式实时计算系统,能够对大量数据进行实时处理和分析。本文将详细介绍Storm集群环境搭建的步骤,包括集群规划、...
### Storm集群安装与配置知识点详解 #### 一、概述 Storm是一个免费且开源的分布式实时计算系统,可以处理大量的实时数据流。它被设计用于在集群环境中运行,能够确保每个消息都被正确处理,并且能够自动地恢复任何...
今天接上文,来实现一个Storm数据流处理综合案例的第二部分,Storm集群向Kafka集群源源不断读取数据,通过MyBatis写入到MySQL数据库,并部署为远程模式 准备工作 参考上文准备工作 代码编写 思路:Storm集群从...
【标题】"storm集群启动与停止脚本共2页.pdf.zip" 提供的是一份关于storm集群管理的文档,主要涵盖了如何启动和停止storm集群的关键步骤。Storm是Apache开源的一个分布式实时计算系统,它能够处理大规模的数据流并...
在安装Storm集群之前,需要确保以下环境已经准备好: 1. **操作系统**:通常推荐使用Linux系统,如CentOS或Ubuntu。 2. **Java环境**:确保已安装Java JDK,并且版本不低于1.7。 3. **ZooKeeper集群**:用于协调...
### 三、Storm集群配置 1. **Storm安装**:下载Storm的tar包,解压并创建软链接。配置`conf/storm.yaml`,包括`nimbus.host`、`supervisor.slots.ports`、`storm.zookeeper.servers`等参数。 2. **Nimbus配置**:在...
### 从零开始搭建Storm集群 #### 一、概述 Apache Storm 是一款开源的大规模实时计算系统,类似于Hadoop处理批量数据,Storm处理的是实时数据流。它支持各种编程语言,能够实现高吞吐量、低延迟的数据处理,并且...
同时,需要在所有参与集群的服务器上安装并配置好Zookeeper,它作为协调服务,管理Storm集群的状态。 2. **下载Storm**:从Apache官网下载最新稳定的Storm版本,并解压到服务器上。确保所有服务器上的Storm版本一致...
在本压缩包“storm集群搭建Java客户端测试代码.zip”中,包含了有关Apache Storm集群的搭建教程以及使用Java客户端进行测试的代码示例。Apache Storm是一个分布式实时计算系统,它允许开发者处理无界数据流,常用于...
通过上述步骤,您可以顺利完成storm集群的搭建,包括虚拟机的安装、网络配置、集群环境配置以及JDK的安装。这些步骤对于部署分布式计算框架storm至关重要,有助于构建高效稳定的分布式计算环境。
这将在本地模拟一个Storm集群。若要部署到生产环境,需要配置多节点集群,包括Nimbus(主控节点)、Supervisor(工作节点)和UI(用户界面)。 **配置和运行拓扑** 创建Storm拓扑是实现具体实时计算任务的关键。...
ZooKeeper集群配置注意事项 - 确保ZooKeeper集群中每个服务器的`myid`文件和`zoo.cfg`配置文件中相应的server条目正确对应。 - 各个ZooKeeper节点之间应能相互通信,否则会出现`Error contacting service`的提示。 ...
Zookeeper是一个分布式协调服务,用于管理Storm集群的元数据。Nimbus是Storm集群的主节点,负责任务分配和监控。Supervisor则是工作节点,每个节点上都运行一个Supervisor实例,管理worker进程。UI则提供了可视化...
由于Zookeeper在Storm集群中扮演着协调角色,因此首先需要安装Zookeeper。步骤包括下载、配置环境变量、设置配置文件等。 **2.3 安装Storm** - **下载**:从官方网站下载Storm的安装包。 - **解压**:将安装包解压...
01.Storm基础知识、02.Storm集群安装-1-new 、03.Storm集群安装-2、04.starter打包运行测试、05.Storm配置文件配置项讲解。。。。。。15集全