Storm集群搭建

原创转载请注明出处：http://agilestyle.iteye.com/blog/2292067

 

前期准备

zookeeper集群搭建完毕

storm环境变量

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77  
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4  
export HIVE_HOME=/home/hadoop/app/apache-hive-1.2.1-bin  
export HBASE_HOME=/home/hadoop/app/hbase-1.1.4  
export STORM_HOME=/home/hadoop/app/apache-storm-1.0.0
export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper-3.4.8
export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin:${HBASE_HOME}/bin:${STORM_HOME}/bin:${ZOO
KEEPER_HOME}/bin

 

配置Storm集群

修改conf的目录下的storm.yaml —— vi storm.yaml

storm.zookeeper.servers:
     - "hadoop-0000"
     - "hadoop-0001"
     - "hadoop-0002"
  
nimbus.seeds: ["hadoop-0002"]

 

保存退出之后，scp到其他两台Server上

scp -r apache-storm-1.0.0/ hadoop-0001:/home/hadoop/app/
scp -r apache-storm-1.0.0/ hadoop-0002:/home/hadoop/app/

 

启动Storm集群

首先启动nimbus主机（这里配置的是hadoop-0002）

storm nimbus

 

启动nimbus的UI

storm ui

 

jps查看进程

 

http://hadoop-0002:8080/index.html

 

 

接着分别在其他两台Server上启动supervisor（这里配置的是hadoop-0000，hadoop-0001） 

storm supervisor

 

JPS查看进程

 

再次查看Storm UI

 

这里仅仅是为了演示，以后启动执行以下命令

解析:dev启动一个记录日志文件,名为null, 1表示标准输出，2表示错误输出, 2>&1表示将标准出错重定向到标准输出，最后一个&表示后台执行

nimbus主机上启动

storm nimbus 1>/dev/null 2>&1 &
storm ui 1>/dev/null 2>&1 &

supervisor主机上启动

storm supervisor 1>/dev/null 2>&1 &