`
longzhun
  • 浏览: 370249 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Storm集群的安装配置

 
阅读更多

Storm集群的安装分为以下几步:

  1、首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装

  2、释放压缩包

  3、修改storm.yaml添加集群配置信息

  4、使用storm脚本启动相应服务并查看服务状态

  5、通过web查看storm集群的状态

 

  安装Storm之前首先保证之前安装的Zookeeper服务正常运行,包括配置hosts映射,主机名修改,防火墙都已经设置完好

  Storm是由java编写,因此必须依赖JDK运行,系统首先应正确安装JDK

  部分需要依赖Python,红帽系列Linux默认Python版本是2.6.6,可以满足要求;Linux可以安装多个版本Python共存,生产过程中建议Python版本为2.7.x

  这里测试使用的三台虚拟机主机名分别是:hadoopha,hadoop1,hadoop2

  首先去Apache Storm官网下载安装包,网址是:http://storm.apache.org/,进入后点击上方DOWNLOAD按钮,进入下载列表

 

这里下载的是storm 0.9.5的版本,下载之后上传到服务器目录下,释放并且放到指定的目录:

$ tar -xvzf apache-storm-0.9.5.tar.gz
$ mv apache-storm-0.9.5 /usr/
$ cd /usr/apache-storm-0.9.5

  接下来需要修改配置文件storm.yaml,执行vim conf/storm.yaml打开文件:

 

  去掉storm.zookeeper.servers:前面的注释,修改为集群中所有部署zookeeper的主机,当然都可以自己手动添加,具体配置如下:

 



 
增加storm.local.dir选项,指定nimbus,supervisor进程用于存储少量的状态数据,比如jar包,配置文件等



 
待会写好配置文件我们需要手动建立这个目录

  下面指定supervisor工作节点,需要配置该节点可以运行的worker数量,每个worker占用一个端口用于接收消息,最多分配5个;默认情况下每个节点可以运行4个worker,分别在6700、6701、6702、6703端口,这里定义3个端口,代表最多运行3个worker:



 
下面设置集群主机,让集群中所有的节点可以从主机下载拓扑以及配置文件,主机上运行的就是nimbus,而其他节点就是supervisor进程,这里hadoopha为nimbus,而hadoop1和hadoop2为supervisor,所以配置如下:



 
下面配置storm集群的drpc地址,这里就是hadoopha,实际中可以自己定义:



 
最后配置storm进程的分配内存,默认情况下Storm启动worker进程时,JVM的最大内存是768M,由于在使用过程中,Bolt中加载大量数据,768M内存无法满足要求,会导致内存溢出,应该根据实际情况进行修改,这里设置为2G



 
以上设置没问题,保存配置文件并退出

  然后在3台主机分别创建上面设置的数据目录,必须都要创建:

mkdir -p /usr/data/storm

  上面的配置是在hadoopha上配置的,接下来要把storm目录发送到hadoop1和hadoop2:

$ scp -r apache-storm-0.9.5 hadoop1:/usr/
$ scp -r apache-storm-0.9.5 hadoop2:/usr/

  发送之后,进入storm安装目录,开始启动相应服务

  首先启动Nimbus服务,只在hadoopha上执行:

nohup bin/storm nimbus >> /dev/null &

  上面命令的意思是丢弃输出信息并且放到后台执行,稍微等一下,执行jps查看nimbus进程是否启动:


然后在hadoop1,hadoop2节点都启动Supervisor服务:

nohup bin/storm supervisor >> /dev/null &

  稍等一下,也可以用jps查看到supervisor进程,

  然后在配置drpc的主机hadoopha,drpc是一种后台服务,用于执行和storm相同的计算,但是比较节省资源,一般和nimbus使用同一台主机即可;执行以下命令启动drpc服务:

nohup bin/storm drpc >> /dev/null &

  稍等一下可以分别通过jps命令查看到drpc进程,

  最后在nimbus节点也就是hadoopha执行以下命令,启动UI服务:

nohup bin/storm ui >> /dev/null &

  通过jps可以查看core进程是否启动,启动之后通过访问hadoopha的ip即可进入web管理界面:http://192.168.1.42:8080



 
到这里基本的storm集群就配置完毕了

 

  • 大小: 7.6 KB
  • 大小: 2.9 KB
  • 大小: 2.1 KB
  • 大小: 2.6 KB
  • 大小: 1.5 KB
  • 大小: 1.8 KB
  • 大小: 6.6 KB
  • 大小: 21.1 KB
分享到:
评论

相关推荐

    storm单本安装及集群安装配置

    storm单本安装及集群安装配置,详情见文档,另需要注意storm.yaml的配置。

    storm集群部署和配置过程详解

    Storm集群的部署和配置是构建实时大数据处理系统的关键步骤,本文将详细讲解这一过程。Storm是一个分布式实时计算系统,能够处理大规模数据流,确保每个事件都得到正确的处理。以下是搭建Storm集群的详细步骤: 1. ...

    storma集群安装手册(包含zookeeper集群安装和storm集群安装)

    整个过程分为三个主要部分:Java环境(JDK)的安装、Zookeeper集群的配置以及Storm集群的具体安装。 #### 二、安装前准备 在开始任何安装之前,请确保已经做好以下准备工作: - **硬件准备**:至少三台物理或虚拟机...

    Storm集群搭建

    3. 安装Storm集群涉及以下步骤: a. 首先搭建Zookeeper集群,Zookeeper是Apache的一个子项目,提供分布式协调服务,是Storm集群稳定运行的基础。 b. 在所有参与集群的节点上安装必要的依赖库,包括Java 6和Python ...

    Storm集群环境搭建

    Storm集群环境搭建是指在多台服务器上安装和配置Storm集群,实现高可用和负载均衡。Storm是一个分布式实时计算系统,能够对大量数据进行实时处理和分析。本文将详细介绍Storm集群环境搭建的步骤,包括集群规划、...

    storm集群安装

    ### Storm集群安装与配置知识点详解 #### 一、概述 Storm是一个免费且开源的分布式实时计算系统,可以处理大量的实时数据流。它被设计用于在集群环境中运行,能够确保每个消息都被正确处理,并且能够自动地恢复任何...

    Storm综合案例二Storm集群向Kafka集群读取数据并写入MySQL远程模式

    今天接上文,来实现一个Storm数据流处理综合案例的第二部分,Storm集群向Kafka集群源源不断读取数据,通过MyBatis写入到MySQL数据库,并部署为远程模式 准备工作 参考上文准备工作 代码编写 思路:Storm集群从...

    storm集群启动与停止脚本共2页.pdf.zip

    【标题】"storm集群启动与停止脚本共2页.pdf.zip" 提供的是一份关于storm集群管理的文档,主要涵盖了如何启动和停止storm集群的关键步骤。Storm是Apache开源的一个分布式实时计算系统,它能够处理大规模的数据流并...

    storm集群部署文档

    在安装Storm集群之前,需要确保以下环境已经准备好: 1. **操作系统**:通常推荐使用Linux系统,如CentOS或Ubuntu。 2. **Java环境**:确保已安装Java JDK,并且版本不低于1.7。 3. **ZooKeeper集群**:用于协调...

    基于Storm的分布式流计算集群详细配置

    ### 三、Storm集群配置 1. **Storm安装**:下载Storm的tar包,解压并创建软链接。配置`conf/storm.yaml`,包括`nimbus.host`、`supervisor.slots.ports`、`storm.zookeeper.servers`等参数。 2. **Nimbus配置**:在...

    从零开始搭建Storm集群

    ### 从零开始搭建Storm集群 #### 一、概述 Apache Storm 是一款开源的大规模实时计算系统,类似于Hadoop处理批量数据,Storm处理的是实时数据流。它支持各种编程语言,能够实现高吞吐量、低延迟的数据处理,并且...

    storm集群的搭建-java示例代码.zip

    同时,需要在所有参与集群的服务器上安装并配置好Zookeeper,它作为协调服务,管理Storm集群的状态。 2. **下载Storm**:从Apache官网下载最新稳定的Storm版本,并解压到服务器上。确保所有服务器上的Storm版本一致...

    storm集群搭建Java客户端测试代码.zip

    在本压缩包“storm集群搭建Java客户端测试代码.zip”中,包含了有关Apache Storm集群的搭建教程以及使用Java客户端进行测试的代码示例。Apache Storm是一个分布式实时计算系统,它允许开发者处理无界数据流,常用于...

    storm集群部署手册

    通过上述步骤,您可以顺利完成storm集群的搭建,包括虚拟机的安装、网络配置、集群环境配置以及JDK的安装。这些步骤对于部署分布式计算框架storm至关重要,有助于构建高效稳定的分布式计算环境。

    storm组件安装部署.doc

    这将在本地模拟一个Storm集群。若要部署到生产环境,需要配置多节点集群,包括Nimbus(主控节点)、Supervisor(工作节点)和UI(用户界面)。 **配置和运行拓扑** 创建Storm拓扑是实现具体实时计算任务的关键。...

    storm配置文档.pdf

    ZooKeeper集群配置注意事项 - 确保ZooKeeper集群中每个服务器的`myid`文件和`zoo.cfg`配置文件中相应的server条目正确对应。 - 各个ZooKeeper节点之间应能相互通信,否则会出现`Error contacting service`的提示。 ...

    storm部署(包括所有依赖rpm包、集群搭建详解)

    Zookeeper是一个分布式协调服务,用于管理Storm集群的元数据。Nimbus是Storm集群的主节点,负责任务分配和监控。Supervisor则是工作节点,每个节点上都运行一个Supervisor实例,管理worker进程。UI则提供了可视化...

    细细品味Storm_Storm简介及安装

    由于Zookeeper在Storm集群中扮演着协调角色,因此首先需要安装Zookeeper。步骤包括下载、配置环境变量、设置配置文件等。 **2.3 安装Storm** - **下载**:从官方网站下载Storm的安装包。 - **解压**:将安装包解压...

    storm入门到精通

    01.Storm基础知识、02.Storm集群安装-1-new 、03.Storm集群安装-2、04.starter打包运行测试、05.Storm配置文件配置项讲解。。。。。。15集全

Global site tag (gtag.js) - Google Analytics