`

Storm安装

阅读更多

 

 

因为本人在用hbase,所以zk不用在安装,安装步骤如下

 

依赖包:

安装zeromq

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz

tar -xzf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

./configure

make

sudo make install

 

configure报错:

  configure: error: cannot link with -luuid, install uuid-dev. 

  #yum install libuuid-devel

  

安装jzmq

git clone https://github.com/nathanmarz/jzmq.git

cd jzmq

./autogen.sh

./configure

make

sudo make install 

 

 

 

安装storm

wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip

wget https://github.com/nathanmarz/storm/storm-0.8.1.zip

 

unzip storm-0.8.1.zip

 

修改storm.yaml

storm.zookeeper.servers : 
- "host1"
- "hots2"
- "host3"


storm.local.dir : "/home/q/dirk.zhang"

nimbus.host : "host1"

supervisor.slots.ports : 
- 6700
- 6701
- 6702
- 6703

 有个坑爹的地方,冒号两边要有空格,哈哈

 

启动storm(先启动zk)

Nimbus: 在Storm主控节点上运行"bin/storm nimbus >/dev/null 2>&1 &"启动Nimbus后台程序,并放到后台执行;

Supervisor: 在Storm各个工作节点上运行"bin/storm supervisor >/dev/null 2>&1 &"启动Supervisor后台程序,并放到后台执行;

UI: 在Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"启动UI后台程序,并放到后台执行,启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。

 

 

参考资料:

http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html

http://kevin1.iteye.com/blog/1935485

 

 

 

 

 

分享到:
评论

相关推荐

    storm安装所需

    0-检查gcc,python版本:python -V,要有gcc-c++ 1-jdk安装 2-解压缩zk 3-安装zeromq configure: error: cannot link with -luuid, install uuid-dev rpm -ivh uuid-1.6.1-10.el6.x86_64.rpm ...修改/etc/hosts,storm.yaml

    zk-kafka-redis-storm安装

    在"zk-kafka-redis-storm安装"过程中,首先需要安装Zookeeper,确保集群的协调和数据一致性。接着是Kafka的部署,设置好broker配置、创建主题并配置消费者和生产者。安装Redis时要注意选择合适的版本,配置网络参数...

    项目1-Storm安装与编程实践1

    【Storm安装与编程实践】 Storm是一款强大的开源实时计算系统,由Twitter开发并开源,它在实时数据处理领域扮演着与Hadoop在批处理中的角色相似的重要地位。Storm的设计目标是简单、高效、可靠地处理流数据,支持...

    storm安装笔记.txt

    storm安装笔记

    storm安装软件包

    在"storm安装软件包"中,提供的"apache-storm-0.10.0"是Apache Storm 的一个特定版本,0.10.0 是其历史版本之一。这个版本可能包含了Storm的核心组件和相关的依赖库,使得用户能够快速地在本地或集群环境中搭建起...

    大数据处理框架:Storm:Storm安装与配置.docx

    大数据处理框架:Storm:Storm安装与配置.docx

    细细品味Storm_Storm简介及安装

    #### 二、Storm安装 **2.1 版本选择** 在安装之前,应先了解所需的Storm版本及其兼容性。通常建议使用最新的稳定版本。 **2.2 安装Zookeeper** 由于Zookeeper在Storm集群中扮演着协调角色,因此首先需要安装...

    storm0.9x安装所需所有包(全)

    【描述】中提到的"一直没找到真正齐全可用的storm安装所需包",表明了在安装Storm的过程中可能会遇到一些困难,因为完整的依赖包集合并不总是易于获取。这通常涉及到多个组件,包括Storm的核心库、依赖的JAR包、配置...

    storm1.1.0版本单节点部署

    Storm 1.1.0 单节点部署指南 Apache Storm 是一个开源的分布式实时计算系统,它能够处理大规模的数据流并进行实时分析。在单节点部署中,所有的 Storm 组件,包括 Nimbus、Supervisor 和 UI,都将运行在同一台机器...

    storm深入学习.pdf

    Storm安装过程主要包括安装ZeroMQ、jzmq、Python2.7.2和Storm四个步骤。 1. 安装ZeroMQ:首先,需要下载ZeroMQ的源代码,使用wget命令下载,然后解压缩并安装。 2. 安装jzmq:下载jzmq的源代码,使用git clone命令...

    flume,kafka,storm整合

    4. **Storm安装**: - 下载Apache Storm 0.9.7的tar.gz包。 - 解压。 5. **Zookeeper安装**: - 下载Zookeeper 3.4.5的tar.gz包。 - 解压。 为了防止端口冲突,需要修改配置文件: - **Zookeeper配置**: - ...

    批量下载】storm环境搭建v1等.zip

    8. **批量下载】storm环境搭建v1等.zip**:这部分可能包含不同版本的Storm安装和配置教程,每个版本可能有不同的注意事项和更新内容,帮助用户根据自己的需求选择合适的版本进行搭建。 总的来说,这个压缩包很可能...

    storm组件安装部署.doc

    【Storm组件安装部署】 Storm是一个开源的分布式实时流计算框架,它被广泛应用于实时日志分析、个性化推荐、实时监控等多个领域。这个文档主要聚焦于如何在单机环境下部署和运行Storm,尤其针对CentOS 6.4系统,...

    基于Storm构建实时热力分布项目实战.txt

    - **Apache Storm安装配置**:包括集群部署、配置参数优化等。 - **消息队列搭建**:选择Apache Kafka作为数据传输中间件,实现高效可靠的数据传输。 - **数据存储方案选择**:根据业务需求选择合适的数据存储技术,...

    Storm实战培训教程.pptx

    5. Storm安装部署: - 安装Storm通常涉及下载最新稳定版本的Storm发行包,配置环境变量,然后启动Nimbus、Supervisor和服务监控工具Zookeeper。 - 部署时,需要考虑集群规模、硬件配置和网络环境,以满足实时处理...

    基于Storm的分布式流计算集群详细配置

    1. **Storm安装**:下载Storm的tar包,解压并创建软链接。配置`conf/storm.yaml`,包括`nimbus.host`、`supervisor.slots.ports`、`storm.zookeeper.servers`等参数。 2. **Nimbus配置**:在Nimbus节点上,确保`...

    storm单本安装及集群安装配置

    storm单本安装及集群安装配置,详情见文档,另需要注意storm.yaml的配置。

    Storm实战构建大数据实时计算

    #### 三、Storm安装与配置 1. **环境准备**:安装Java环境,并确保版本满足Storm的要求。同时,还需要安装Zookeeper作为集群协调服务。 2. **下载与解压**:从Apache官方下载Storm压缩包,并解压到指定目录。 3. **...

    storm集群安装与运维.doc

    storm集群安装与运维.doc

Global site tag (gtag.js) - Google Analytics