因为本人在用hbase,所以zk不用在安装,安装步骤如下
依赖包:
安装zeromq
wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
make
sudo make install
configure报错:
configure: error: cannot link with -luuid, install uuid-dev.
#yum install libuuid-devel
安装jzmq
git clone https://github.com/nathanmarz/jzmq.git
cd jzmq
./autogen.sh
./configure
make
sudo make install
安装storm
wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
wget https://github.com/nathanmarz/storm/storm-0.8.1.zip
unzip storm-0.8.1.zip
修改storm.yaml
storm.zookeeper.servers : - "host1" - "hots2" - "host3" storm.local.dir : "/home/q/dirk.zhang" nimbus.host : "host1" supervisor.slots.ports : - 6700 - 6701 - 6702 - 6703
有个坑爹的地方,冒号两边要有空格,哈哈
启动storm(先启动zk)
Nimbus: 在Storm主控节点上运行"bin/storm nimbus >/dev/null 2>&1 &"启动Nimbus后台程序,并放到后台执行;
Supervisor: 在Storm各个工作节点上运行"bin/storm supervisor >/dev/null 2>&1 &"启动Supervisor后台程序,并放到后台执行;
UI: 在Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"启动UI后台程序,并放到后台执行,启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。
参考资料:
http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html
http://kevin1.iteye.com/blog/1935485
相关推荐
0-检查gcc,python版本:python -V,要有gcc-c++ 1-jdk安装 2-解压缩zk 3-安装zeromq configure: error: cannot link with -luuid, install uuid-dev rpm -ivh uuid-1.6.1-10.el6.x86_64.rpm ...修改/etc/hosts,storm.yaml
在"zk-kafka-redis-storm安装"过程中,首先需要安装Zookeeper,确保集群的协调和数据一致性。接着是Kafka的部署,设置好broker配置、创建主题并配置消费者和生产者。安装Redis时要注意选择合适的版本,配置网络参数...
【Storm安装与编程实践】 Storm是一款强大的开源实时计算系统,由Twitter开发并开源,它在实时数据处理领域扮演着与Hadoop在批处理中的角色相似的重要地位。Storm的设计目标是简单、高效、可靠地处理流数据,支持...
storm安装笔记
在"storm安装软件包"中,提供的"apache-storm-0.10.0"是Apache Storm 的一个特定版本,0.10.0 是其历史版本之一。这个版本可能包含了Storm的核心组件和相关的依赖库,使得用户能够快速地在本地或集群环境中搭建起...
大数据处理框架:Storm:Storm安装与配置.docx
#### 二、Storm安装 **2.1 版本选择** 在安装之前,应先了解所需的Storm版本及其兼容性。通常建议使用最新的稳定版本。 **2.2 安装Zookeeper** 由于Zookeeper在Storm集群中扮演着协调角色,因此首先需要安装...
【描述】中提到的"一直没找到真正齐全可用的storm安装所需包",表明了在安装Storm的过程中可能会遇到一些困难,因为完整的依赖包集合并不总是易于获取。这通常涉及到多个组件,包括Storm的核心库、依赖的JAR包、配置...
Storm 1.1.0 单节点部署指南 Apache Storm 是一个开源的分布式实时计算系统,它能够处理大规模的数据流并进行实时分析。在单节点部署中,所有的 Storm 组件,包括 Nimbus、Supervisor 和 UI,都将运行在同一台机器...
Storm安装过程主要包括安装ZeroMQ、jzmq、Python2.7.2和Storm四个步骤。 1. 安装ZeroMQ:首先,需要下载ZeroMQ的源代码,使用wget命令下载,然后解压缩并安装。 2. 安装jzmq:下载jzmq的源代码,使用git clone命令...
4. **Storm安装**: - 下载Apache Storm 0.9.7的tar.gz包。 - 解压。 5. **Zookeeper安装**: - 下载Zookeeper 3.4.5的tar.gz包。 - 解压。 为了防止端口冲突,需要修改配置文件: - **Zookeeper配置**: - ...
8. **批量下载】storm环境搭建v1等.zip**:这部分可能包含不同版本的Storm安装和配置教程,每个版本可能有不同的注意事项和更新内容,帮助用户根据自己的需求选择合适的版本进行搭建。 总的来说,这个压缩包很可能...
【Storm组件安装部署】 Storm是一个开源的分布式实时流计算框架,它被广泛应用于实时日志分析、个性化推荐、实时监控等多个领域。这个文档主要聚焦于如何在单机环境下部署和运行Storm,尤其针对CentOS 6.4系统,...
- **Apache Storm安装配置**:包括集群部署、配置参数优化等。 - **消息队列搭建**:选择Apache Kafka作为数据传输中间件,实现高效可靠的数据传输。 - **数据存储方案选择**:根据业务需求选择合适的数据存储技术,...
5. Storm安装部署: - 安装Storm通常涉及下载最新稳定版本的Storm发行包,配置环境变量,然后启动Nimbus、Supervisor和服务监控工具Zookeeper。 - 部署时,需要考虑集群规模、硬件配置和网络环境,以满足实时处理...
1. **Storm安装**:下载Storm的tar包,解压并创建软链接。配置`conf/storm.yaml`,包括`nimbus.host`、`supervisor.slots.ports`、`storm.zookeeper.servers`等参数。 2. **Nimbus配置**:在Nimbus节点上,确保`...
storm单本安装及集群安装配置,详情见文档,另需要注意storm.yaml的配置。
#### 三、Storm安装与配置 1. **环境准备**:安装Java环境,并确保版本满足Storm的要求。同时,还需要安装Zookeeper作为集群协调服务。 2. **下载与解压**:从Apache官方下载Storm压缩包,并解压到指定目录。 3. **...
storm集群安装与运维.doc