`
gelongmei
  • 浏览: 211296 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

storm启动脚本 shell

 
阅读更多
STORM集群启动脚本

#!/bin/bash
#nimbus节点
nimbusServers='mini01 mini02'

#supervisor节点
supervisorServers='mini01 mini02 mini03'

#启动所有的nimbus
for nim in $nimbusServers
do
    ssh -T $nim <<EOF
        source /etc/profile
        cd \$STORM_HOME
        bin/storm nimbus >/dev/null 2>&1 &
EOF
echo 从节点 $nim 启动nimbus...[ done ]
sleep 1
done

#启动所有的ui
for u in $nimbusServers
do
    ssh -T $u <<EOF
        source /etc/profile
        cd \$STORM_HOME
        bin/storm ui >/dev/null 2>&1 &
EOF
echo 从节点 $u 启动ui...[ done ]
sleep 1
done

#启动所有的supervisor
for visor in $supervisorServers
do
    ssh -T $visor <<EOF
        source /etc/profile
        cd \$STORM_HOME
        bin/storm supervisor >/dev/null 2>&1 &
EOF
echo 从节点 $visor 启动supervisor...[ done ]
sleep 1
done

storm集群停止脚本

    在$STORM_HOME/bin下touch stop-storm-cluster.sh并chmod a+x stop-storm-cluster.sh
#!/bin/bash

#nimbus节点
nimbusServers='mini01 mini02'

#supervisor节点
supervisorServers='mini01 mini02 mini03'

#停止所有的nimbus和ui
for nim in $nimbusServers
do
    echo 从节点 $nim 停止nimbus和ui...[ done ]
    ssh $nim "kill -9 `ssh $nim ps -ef | grep nimbus | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
    ssh $nim "kill -9 `ssh $nim ps -ef | grep core | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
done

#停止所有的supervisor
for visor in $supervisorServers
do
    echo 从节点 $visor 停止supervisor...[ done ]
    ssh $visor "kill -9 `ssh $visor ps -ef | grep supervisor | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
done
分享到:
评论

相关推荐

    LinuxShell:Storm一键启动与关闭

    在这个主题中,我们将深入探讨如何使用Shell脚本来实现"Storm"的一键启动与关闭。Storm是一个开源的分布式实时计算系统,广泛应用于大数据处理领域。通过编写Shell脚本,我们可以便捷地管理Storm服务,提高工作效率...

    Storm实战常见问题及解决方案

    不然安装的java和ZK集群等就无法使用,尤其这个问题在我用shell写调度脚本去启动storm集群的时候就遇到过,如果没有将java的环境变量配置在/etc/.bashrc文件中,就会报一个错,这个问题在后面我会提到。记得刚刚接触...

    大数据分析架构师顶级培训课程 Storm基础理论与案例 共57页.pptx

    **启动Nimbus和Supervisor**:通过shell脚本自动启动。 3. **监控服务**:使用健康检查工具确保服务正常运行。 4. **停止服务**:优雅地关闭所有服务,确保数据一致性。 #### Storm编程模型 - **核心概念**: -...

    storm-marathon:Apache Storm 0.9.3-rc1 Docker 集群使用 Marathon 部署在 Apache Mesos 上

    部署或扩展新的 Storm 集群非常快速和容易(运行单个脚本或仅运行 Marathon UI)。 Docker 允许我们在 Apache Mesos 上部署任何版本的应用程序(在我们的例子中是 Storm),同时隔离进程。 类似的方法可用于以高...

    kafka命令.txt

    其中`.\bin\windows\kafka-server-start.bat`是启动脚本,`.\config\server.properties`是配置文件路径。 - **注意事项**:确保Zookeeper已启动,并且配置文件中已正确设置`broker.id`、`listeners`等参数。 2. **...

    分布式集群技术.pdf

    Shell 编程是分布式集群技术的基础,Shell 介绍、Shell 脚本的编写等内容将为读者提供了 Shell 编程的基础知识。 Linux 上常见软件的安装是分布式集群技术的基础,安装 JDK、安装 Tomcat、安装 Eclipse 等内容将为...

    00-大数据技术之高频面试题+汇总.pdf

    2. Shell常用工具及写过的脚本:包括awk、sed、grep等工具的使用,以及如何编写Shell脚本。 3. Shell中的单引号和双引号区别:了解单引号和双引号在Shell中的作用和区别。 Hadoop Hadoop是大数据技术的核心组件之...

    数据管道项目:数据管道项目

    数据管道项目 (我正在维护该项目,并添加有关Hadoop分布式模式...启动Apache Storm 启动Zookeeper流程 ../zookeeper/bin/./zkServer.sh start ../zookeeper/bin/./zkServer.sh status ../zookeeper/bin/./zkServer.

    flume-kafka-storm-sunxing.rar_Java编程_LINUX_

    对于开发者来说,理解Linux基础操作和shell脚本编写是必要的。此外,由于这三个工具都涉及到分布式系统,所以对分布式概念、网络通信以及Zookeeper(用于协调集群服务)的理解也是必不可少的。 总的来说,这个...

    大数据开发工程师需掌握技术.docx

    * shell 编程:掌握 Linux 的 shell 编程和脚本开发 第二阶段:Hadoop 与生态系统 * Hadoop:掌握 Hadoop 分布式计算框架和 MapReduce 编程 * MapReduce:掌握 MapReduce 编程和数据处理 * Avro:掌握 Avro 数据...

    大数据学习基础学问点共享.docx

    Shell脚本在系统管理和自动化任务中不可或缺,而Python则在数据挖掘和编写复杂脚本方面表现出色,特别是在数据预处理和分析阶段。分布式计算是大数据处理的核心,通过将大型任务分解为多个子任务,分布到多台服务器...

    大数据课程体系.docx

    - **Linux启动流程**:解析Linux系统的启动过程,包括BIOS/UEFI启动、内核加载、初始化脚本执行等环节。 - **Linux运行级别详解**:解释Linux的不同运行级别及其含义,以及如何通过chkconfig命令管理服务。 - **nano...

    大数据技术之高频面试题

    若需杀死一个Shell脚本进程,但忘记了进程号,可以通过 `ps` 或 `pgrep` 命令查找该脚本,然后使用 `kill` 或 `pkill` 命令结合进程名或PID来结束它。例如,`pgrep -f "script_name.sh"` 可以找到通过名字运行的进程...

    Hadoop学习必看路线图2.pdf

    - **Hadoop集群搭建**:这一阶段的重点在于让Hadoop系统正常运行,涉及到配置文件的调整、启动脚本的编写等步骤。 #### 三、HDFS分布式文件系统 - **架构分析**:深入理解HDFS的架构原理,包括NameNode与DataNode...

    喜p:喜p包含许多用于在HPC环境(包括Hadoop和Spark)中运行大数据软件的脚本。 支持Lustre,Slurm,Moab和Torque。 LSF等

    到目前为止,支持Hadoop,Spark,Hbase,Storm,Pig,Mahout,Phoenix,Kafka,Zeppelin,Zookeeper和Alluxio。 它当前支持在并行文件系统Lustre上运行,以及在任何通用网络文件系统上运行。 Slurm,Moab,Torque和...

    大数据研发方向教学计划.pdf

    学习者需要掌握Linux环境变量、初始化文件、定时服务以及shell脚本编程,以便于管理和维护大数据环境。同时,还要了解Linux的备份工具和安全性设置,以及网络互联和软件安装与日志管理,这些都是大数据平台的基础。 ...

    Python.Unix和Linux系统管理指南

    掌握IPython shell,作为Bash、Korn或Z—Shell的替换或补充。 将云计算整合到基础设施中,编写Google App引擎的应用程序。 通过定制脚本解决独特数据备份的难题。 使用Djan90、SQLAlchemy和Storm ORM与数据库进行...

Global site tag (gtag.js) - Google Analytics