系统环境:ubuntu-server 12.04 i386, 512M内存 vmware虚拟机
安装zookeeper,并测试通过zk安装参考
问题:切记使用2.1.7版本的(见:storm/bin/install_zmq.sh)否则会出现问题
wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
用3.2.2时work执行出现异常:
Caused by: org.zeromq.ZMQException: Invalid argument(0x16)
at org.zeromq.ZMQ$Socket.setLongSockopt(Native Method)
## 准备工作(查看限制:ulimit -n),编辑:sudo nano /etc/security/limits.conf,增加配置:"* - nofile 10000"
sudo apt-get install libtool autoconf automake uuid-dev e2fsprogs build-essential
cd zeromq-2.1.7
./autogen.sh
./configure
make
sudo make install
sudo ldconfig
wget https:unzip master.zip
cd jzmq-master
#sudo apt-get install pkg-config
./autogen.sh
./configure
make
sudo make install
a. make问题
Making all in src
make[1]: Entering directory `/data/master/jzmq-master/src'
make[1]: *** No rule to make target `classdist_noinst.stamp', needed by `org/zeromq/ZMQ.class'. Stop.
make[1]: Leaving directory `/data/master/jzmq-master/src'
make: *** [all-recursive] Error 1
### 修复
Changing classdist_noinst.stamp to classnoinst.stamp in src/Makefile.am and then re-running ./autogen.sh
storm安装启动:
a. 配置:conf/storm.yaml
storm.zookeeper.servers:
- "172.16.220.132"
nimbus.host: "172.16.220.132"
a. 启动守护进程:
# 总控:
bin/storm nimbus
# work机器上:
bin/storm supervisor
# 查看storm状态:
bin/storm ui
分享到:
相关推荐
storm集群安装与运维.doc
Storm集群安装部署步骤,一步一步记录了作者亲自实践部署的过程,包括遇到的错误解决办法
本文档主要介绍如何在多台服务器上部署一个完整的Storm集群,其中包括JDK安装、Zookeeper集群安装以及Storm集群的搭建。整个过程分为三个主要部分:Java环境(JDK)的安装、Zookeeper集群的配置以及Storm集群的具体...
storm的集群安装笔记,在我的虚拟机上安装的整个过程,所有注意点都写了。绝对好用
3. 安装Storm集群涉及以下步骤: a. 首先搭建Zookeeper集群,Zookeeper是Apache的一个子项目,提供分布式协调服务,是Storm集群稳定运行的基础。 b. 在所有参与集群的节点上安装必要的依赖库,包括Java 6和Python ...
storm单本安装及集群安装配置,详情见文档,另需要注意storm.yaml的配置。
Storm集群环境搭建是指在多台服务器上安装和配置Storm集群,实现高可用和负载均衡。Storm是一个分布式实时计算系统,能够对大量数据进行实时处理和分析。本文将详细介绍Storm集群环境搭建的步骤,包括集群规划、...
Storm集群的部署和配置是构建实时大数据处理系统的关键步骤,本文将详细讲解这一过程。Storm是一个分布式实时计算系统,能够处理大规模数据流,确保每个事件都得到正确的处理。以下是搭建Storm集群的详细步骤: 1. ...
今天接上文,来实现一个Storm数据流处理综合案例的第二部分,Storm集群向Kafka集群源源不断读取数据,通过MyBatis写入到MySQL数据库,并部署为远程模式 准备工作 参考上文准备工作 代码编写 思路:Storm集群从...
在安装Storm集群之前,需要确保以下环境已经准备好: 1. **操作系统**:通常推荐使用Linux系统,如CentOS或Ubuntu。 2. **Java环境**:确保已安装Java JDK,并且版本不低于1.7。 3. **ZooKeeper集群**:用于协调...
【标题】"storm集群启动与停止脚本共2页.pdf.zip" 提供的是一份关于storm集群管理的文档,主要涵盖了如何启动和停止storm集群的关键步骤。Storm是Apache开源的一个分布式实时计算系统,它能够处理大规模的数据流并...
### 从零开始搭建Storm集群 #### 一、概述 Apache Storm 是一款开源的大规模实时计算系统,类似于Hadoop处理批量数据,Storm处理的是实时数据流。它支持各种编程语言,能够实现高吞吐量、低延迟的数据处理,并且...
同时,需要在所有参与集群的服务器上安装并配置好Zookeeper,它作为协调服务,管理Storm集群的状态。 2. **下载Storm**:从Apache官网下载最新稳定的Storm版本,并解压到服务器上。确保所有服务器上的Storm版本一致...
在本压缩包“storm集群搭建Java客户端测试代码.zip”中,包含了有关Apache Storm集群的搭建教程以及使用Java客户端进行测试的代码示例。Apache Storm是一个分布式实时计算系统,它允许开发者处理无界数据流,常用于...
01.Storm基础知识、02.Storm集群安装-1-new 、03.Storm集群安装-2、04.starter打包运行测试、05.Storm配置文件配置项讲解。。。。。。15集全