storm集群安装

 

系统环境：ubuntu-server 12.04 i386, 512M内存 vmware虚拟机

安装zookeeper，并测试通过zk安装参考

安装ZeroMQ: http://www.zeromq.org/area:download

问题：切记使用2.1.7版本的（见：storm/bin/install_zmq.sh）否则会出现问题

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
用3.2.2时work执行出现异常：
Caused by: org.zeromq.ZMQException: Invalid argument(0x16) 
    at org.zeromq.ZMQ$Socket.setLongSockopt(Native Method) 

## 准备工作(查看限制：ulimit -n)，编辑：sudo nano /etc/security/limits.conf，增加配置："* - nofile 10000"
sudo apt-get install libtool autoconf automake uuid-dev e2fsprogs build-essential 
cd zeromq-2.1.7
./autogen.sh
./configure
make
sudo make install
sudo ldconfig

安装JZMQ: http://github.com/nathanmarz/jzmq

wget https://github.com/nathanmarz/jzmq/archive/master.zip
unzip master.zip
cd jzmq-master
#sudo apt-get install pkg-config 
./autogen.sh
./configure
make
sudo make install

a. make问题

Making all in src
make[1]: Entering directory `/data/master/jzmq-master/src'
make[1]: *** No rule to make target `classdist_noinst.stamp', needed by `org/zeromq/ZMQ.class'.  Stop.
make[1]: Leaving directory `/data/master/jzmq-master/src'
make: *** [all-recursive] Error 1
### 修复
Changing classdist_noinst.stamp to classnoinst.stamp in src/Makefile.am and then re-running ./autogen.sh 

storm安装启动：

a. 配置：conf/storm.yaml

storm.zookeeper.servers:
 - "172.16.220.132"
nimbus.host: "172.16.220.132"

a. 启动守护进程：

# 总控：
bin/storm nimbus
# work机器上：
bin/storm supervisor
# 查看storm状态：
bin/storm ui

评论

4 楼 skzr.org 2013-08-13  

怎样调试配置启动参数：
worker.childopts -Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,
address=1%ID%

3 楼 hzxlb910 2013-07-18  

这个storm在windows7下面怎么安装，正好要用到这个，先试试，谢谢

2 楼 skzr.org 2013-01-25  

storm nimbus根据topology.numerWork启动jvm进程，然后他来决定每个jvm中bolt要运行几个线程。
EX:
numberWork=3
spout=3
boltA=10
boltB=20
boltC=30
并行度=3+10+20+30=63
jvm=3
那么每个jvm需要运行63/3=21个线程。
3个线程中跑spout、10个线程跑boltA。。。

1 楼 skzr.org 2013-01-24  

入门传送门：
1. 很好的翻译：http://xumingming.sinaapp.com/
先访问这个网站，按时间看
2. 重点关注：storm基本概念，topology的运行原理，集群配置这三张，其他的知道怎么回事就可以了。