- 浏览: 211296 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (391)
- java (18)
- python (3)
- ruby (4)
- linux (48)
- 网络 (9)
- 前端 (2)
- 社会、文化、哲学、人生、百态 (0)
- 工具 (10)
- 下载 (0)
- 常用地址 (0)
- tracert (0)
- mysql (8)
- 开源相关收藏 (1)
- 模块查看依懒 (1)
- watch使用 (1)
- Tcpdump (2)
- easy_install安装 (1)
- 构造redis批量删除脚本 (1)
- MYSQL 性能测试 (1)
- JAVA code encode utf-8 (1)
- linux nginx awk 实时 每妙 (1)
- mkpasswd (1)
- spring security oauth (1)
- jmap dump java memory Analyzer (1)
- JAVA DUMP (1)
- swap linux 过高 解决 (1)
- SWAP (1)
- jmap jstat jstack dump (1)
- java jconsole 的使用 (1)
- git 常用 (1)
- MYSQL 索引 动态 唯一 (1)
- TCP 三次握手 四次挥手 (1)
- linux date (1)
- 删除 空行 注释行 (1)
- maven3 yum linux install repository (1)
- linux git 搭建 (1)
- linux sar eth1 查看 流量 (1)
- sar (1)
- netstat ip 过滤 常用脚本 (1)
- Tcpdump 包分析网络连接过程 (1)
- net ipv4 tcp time wait tw recycle (0)
- /etc/sysctl.conf linux 网络 配置 (1)
- ss 网络连接查看 (比netstat 快很多,实时性牺牲) (1)
- MYSQL 关键字 (1)
- Linux 下多核CPU知识 (1)
- top (1)
- 令牌 证书 (1)
- mysql unix timestamp (1)
- 端口扫描 nc nmap (1)
- 204 http code 状态码 (1)
- ss -s ss -l (1)
- linux 常用 curl (1)
- linux sed 替换 换行 (1)
- centos yum install rpm install (1)
- spring-mvc源码解读 (1)
- 使用iftop查看实时的网络流量 (0)
- linux 命令 expect (1)
- HTTP (1)
- openssl ddif 加密 (1)
- iptables 详解 (1)
- python 虚拟化 VirtualEnv virtualenvwrapper (1)
- nginx (2)
- more less 实用技巧 (1)
- linux nginx (2)
- linux curl https ssl 证书 ca (1)
- openssl (1)
- php mysql linux (1)
- linux 虚拟机 虚拟 xen (0)
- linux 虚拟机 虚拟 xen kvm (1)
- linux perl 单行执行技巧 (1)
- mysql 查看库占用空间 表查用空间 (1)
- linux tcpdump (1)
- maven (1)
- sun.misc.Unsafe (1)
- OpenSSL生成证书 (1)
- http://blog.csdn.net/zzulp/article/details/8018751 (1)
- maven 本地 jar dependency (1)
- 计算JAVA代码行数最简单命令 sed (1)
- 常用的证书格式转换 rsa eg (1)
- 加密 解密 签名 (1)
- 分析jar包冲突 (1)
- 使用JMockit编写java单元测试 (1)
- Linux 技巧:让进程在后台可靠运行的几种方法 (1)
- 环境变量控制 (1)
- 5+ 个 tar 命令的用法,附示例 (1)
- scp自动输入密码 (1)
- ps axo pid (1)
- ppid (1)
- comm (1)
- pmem (1)
- lstart|grep mysql (0)
- lstart (1)
- etime|grep mysql (1)
- UML类图字少好理解 (1)
- HTTP经典文章 (1)
- git (1)
- Git常用命令 (1)
- LINUX 系统被攻击的分析过程 (1)
- NIO (1)
- LINUX 操作快捷键使用 (1)
- openSSL命令、PKI、CA、SSL证书原理 (1)
- shell (2)
- 转载 (1)
- mysqldump 可以直接dump->xml (1)
- VIM比较全面的文章 (1)
- eclipse regex 正则表达式 (1)
- synchronized (1)
- 锁 (1)
- java 正则表达式 regex (1)
- Reference Queue 引用 源码 (1)
- spring aop 源码 分析 (1)
- java @Cache @Transaction 注解 (1)
- spring aop (1)
- spring jdk proxy cglib 动态代理 性能比较 (1)
- spring proxy private public 代理限制 (1)
- spring transaction aop 事务 (1)
- spring autowire 注解注入 (1)
- 桥接 NAT NAT地址转换 内部网络 虚拟网络 (1)
- spring-web-mvc 源码解读 之 RequestMappingHandlerMapping (1)
- find atime mtime ctime -n n +n (1)
- android studio 快捷键初探 (1)
- android 源码阅读的计划 (1)
- 计算机网络学习-VLAN (1)
- sed 高级 合并行 (1)
- CAP 一致性 可用性 分布式容错性 (1)
- android lib so 库文件 (0)
- android lib so 库文件 移植 (1)
- android 不错的博文 (1)
- sourceinsight 源码 阅读 (1)
- Android Tab UI (1)
- 诗 (1)
- mysql 批处理 (0)
- netty 堆外内存 DirectByteBuffer (1)
- netty 并发 百万 推送 (1)
- Linux操作系统中内存buffer和cache的区别 (1)
- maven intellij target bytecode version (1)
- linux sleep()的实现原理 (1)
- android (2)
- javadoc 代码注释规范 (1)
- spring 自动注入bean auto (1)
- Photoshop CS6常用快捷键 (1)
- 股票 数据 机器 分析 (1)
- 批处理 (1)
- mysql -e (1)
- char (1)
- Unicode (1)
- 编码 (1)
- utf8 (1)
- utf-8 (1)
- utf16 (1)
- utf-16 (1)
- IntelliJ IDEA (1)
- ide (1)
- idea (1)
- intellij (1)
- 文件 (1)
- 目录 (1)
- 源代码 (1)
- CountDownLatch (1)
- CyclicBarrier (1)
- Semaphore (1)
- spring (1)
- linux 查看不同进制文件 (1)
- WebMvcConfigurationSupport (1)
- sdkman工具的使用 (1)
- http header (1)
- LINUX系统优化 (1)
最新评论
-
gelongmei:
威武我大酒神
shell脚本不换行刷新数据
storm启动脚本 shell
STORM集群启动脚本
#!/bin/bash
#nimbus节点
nimbusServers='mini01 mini02'
#supervisor节点
supervisorServers='mini01 mini02 mini03'
#启动所有的nimbus
for nim in $nimbusServers
do
ssh -T $nim <<EOF
source /etc/profile
cd \$STORM_HOME
bin/storm nimbus >/dev/null 2>&1 &
EOF
echo 从节点 $nim 启动nimbus...[ done ]
sleep 1
done
#启动所有的ui
for u in $nimbusServers
do
ssh -T $u <<EOF
source /etc/profile
cd \$STORM_HOME
bin/storm ui >/dev/null 2>&1 &
EOF
echo 从节点 $u 启动ui...[ done ]
sleep 1
done
#启动所有的supervisor
for visor in $supervisorServers
do
ssh -T $visor <<EOF
source /etc/profile
cd \$STORM_HOME
bin/storm supervisor >/dev/null 2>&1 &
EOF
echo 从节点 $visor 启动supervisor...[ done ]
sleep 1
done
storm集群停止脚本
在$STORM_HOME/bin下touch stop-storm-cluster.sh并chmod a+x stop-storm-cluster.sh
#!/bin/bash
#nimbus节点
nimbusServers='mini01 mini02'
#supervisor节点
supervisorServers='mini01 mini02 mini03'
#停止所有的nimbus和ui
for nim in $nimbusServers
do
echo 从节点 $nim 停止nimbus和ui...[ done ]
ssh $nim "kill -9 `ssh $nim ps -ef | grep nimbus | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
ssh $nim "kill -9 `ssh $nim ps -ef | grep core | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
done
#停止所有的supervisor
for visor in $supervisorServers
do
echo 从节点 $visor 停止supervisor...[ done ]
ssh $visor "kill -9 `ssh $visor ps -ef | grep supervisor | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
done
#!/bin/bash
#nimbus节点
nimbusServers='mini01 mini02'
#supervisor节点
supervisorServers='mini01 mini02 mini03'
#启动所有的nimbus
for nim in $nimbusServers
do
ssh -T $nim <<EOF
source /etc/profile
cd \$STORM_HOME
bin/storm nimbus >/dev/null 2>&1 &
EOF
echo 从节点 $nim 启动nimbus...[ done ]
sleep 1
done
#启动所有的ui
for u in $nimbusServers
do
ssh -T $u <<EOF
source /etc/profile
cd \$STORM_HOME
bin/storm ui >/dev/null 2>&1 &
EOF
echo 从节点 $u 启动ui...[ done ]
sleep 1
done
#启动所有的supervisor
for visor in $supervisorServers
do
ssh -T $visor <<EOF
source /etc/profile
cd \$STORM_HOME
bin/storm supervisor >/dev/null 2>&1 &
EOF
echo 从节点 $visor 启动supervisor...[ done ]
sleep 1
done
storm集群停止脚本
在$STORM_HOME/bin下touch stop-storm-cluster.sh并chmod a+x stop-storm-cluster.sh
#!/bin/bash
#nimbus节点
nimbusServers='mini01 mini02'
#supervisor节点
supervisorServers='mini01 mini02 mini03'
#停止所有的nimbus和ui
for nim in $nimbusServers
do
echo 从节点 $nim 停止nimbus和ui...[ done ]
ssh $nim "kill -9 `ssh $nim ps -ef | grep nimbus | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
ssh $nim "kill -9 `ssh $nim ps -ef | grep core | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
done
#停止所有的supervisor
for visor in $supervisorServers
do
echo 从节点 $visor 停止supervisor...[ done ]
ssh $visor "kill -9 `ssh $visor ps -ef | grep supervisor | awk '{print $2}'| head -n 1`" >/dev/null 2>&1
done
相关推荐
在这个主题中,我们将深入探讨如何使用Shell脚本来实现"Storm"的一键启动与关闭。Storm是一个开源的分布式实时计算系统,广泛应用于大数据处理领域。通过编写Shell脚本,我们可以便捷地管理Storm服务,提高工作效率...
不然安装的java和ZK集群等就无法使用,尤其这个问题在我用shell写调度脚本去启动storm集群的时候就遇到过,如果没有将java的环境变量配置在/etc/.bashrc文件中,就会报一个错,这个问题在后面我会提到。记得刚刚接触...
**启动Nimbus和Supervisor**:通过shell脚本自动启动。 3. **监控服务**:使用健康检查工具确保服务正常运行。 4. **停止服务**:优雅地关闭所有服务,确保数据一致性。 #### Storm编程模型 - **核心概念**: -...
部署或扩展新的 Storm 集群非常快速和容易(运行单个脚本或仅运行 Marathon UI)。 Docker 允许我们在 Apache Mesos 上部署任何版本的应用程序(在我们的例子中是 Storm),同时隔离进程。 类似的方法可用于以高...
其中`.\bin\windows\kafka-server-start.bat`是启动脚本,`.\config\server.properties`是配置文件路径。 - **注意事项**:确保Zookeeper已启动,并且配置文件中已正确设置`broker.id`、`listeners`等参数。 2. **...
Shell 编程是分布式集群技术的基础,Shell 介绍、Shell 脚本的编写等内容将为读者提供了 Shell 编程的基础知识。 Linux 上常见软件的安装是分布式集群技术的基础,安装 JDK、安装 Tomcat、安装 Eclipse 等内容将为...
2. Shell常用工具及写过的脚本:包括awk、sed、grep等工具的使用,以及如何编写Shell脚本。 3. Shell中的单引号和双引号区别:了解单引号和双引号在Shell中的作用和区别。 Hadoop Hadoop是大数据技术的核心组件之...
数据管道项目 (我正在维护该项目,并添加有关Hadoop分布式模式...启动Apache Storm 启动Zookeeper流程 ../zookeeper/bin/./zkServer.sh start ../zookeeper/bin/./zkServer.sh status ../zookeeper/bin/./zkServer.
对于开发者来说,理解Linux基础操作和shell脚本编写是必要的。此外,由于这三个工具都涉及到分布式系统,所以对分布式概念、网络通信以及Zookeeper(用于协调集群服务)的理解也是必不可少的。 总的来说,这个...
* shell 编程:掌握 Linux 的 shell 编程和脚本开发 第二阶段:Hadoop 与生态系统 * Hadoop:掌握 Hadoop 分布式计算框架和 MapReduce 编程 * MapReduce:掌握 MapReduce 编程和数据处理 * Avro:掌握 Avro 数据...
Shell脚本在系统管理和自动化任务中不可或缺,而Python则在数据挖掘和编写复杂脚本方面表现出色,特别是在数据预处理和分析阶段。分布式计算是大数据处理的核心,通过将大型任务分解为多个子任务,分布到多台服务器...
- **Linux启动流程**:解析Linux系统的启动过程,包括BIOS/UEFI启动、内核加载、初始化脚本执行等环节。 - **Linux运行级别详解**:解释Linux的不同运行级别及其含义,以及如何通过chkconfig命令管理服务。 - **nano...
若需杀死一个Shell脚本进程,但忘记了进程号,可以通过 `ps` 或 `pgrep` 命令查找该脚本,然后使用 `kill` 或 `pkill` 命令结合进程名或PID来结束它。例如,`pgrep -f "script_name.sh"` 可以找到通过名字运行的进程...
- **Hadoop集群搭建**:这一阶段的重点在于让Hadoop系统正常运行,涉及到配置文件的调整、启动脚本的编写等步骤。 #### 三、HDFS分布式文件系统 - **架构分析**:深入理解HDFS的架构原理,包括NameNode与DataNode...
到目前为止,支持Hadoop,Spark,Hbase,Storm,Pig,Mahout,Phoenix,Kafka,Zeppelin,Zookeeper和Alluxio。 它当前支持在并行文件系统Lustre上运行,以及在任何通用网络文件系统上运行。 Slurm,Moab,Torque和...
学习者需要掌握Linux环境变量、初始化文件、定时服务以及shell脚本编程,以便于管理和维护大数据环境。同时,还要了解Linux的备份工具和安全性设置,以及网络互联和软件安装与日志管理,这些都是大数据平台的基础。 ...
掌握IPython shell,作为Bash、Korn或Z—Shell的替换或补充。 将云计算整合到基础设施中,编写Google App引擎的应用程序。 通过定制脚本解决独特数据备份的难题。 使用Djan90、SQLAlchemy和Storm ORM与数据库进行...