Storm命令行参数研究
[root@node1 ~]# storm
Commands:
activate
classpath
deactivate
dev-zookeeper
drpc
help
jar
kill
list
localconfvalue
logviewer
monitor
nimbus
rebalance
remoteconfvalue
repl
shell
supervisor
ui
version
Help:
help
help <command>
Documentation for the storm client can be found at http://storm.incubator.apache.org/documentation/Command-line-client.html
Configs can be overridden using one or more -c flags, e.g. "storm list -c nimbus.host=nimbus.mycompany.com"
[root@node1 ~]# storm help activate
Syntax: [storm activate topology-name]
Activates the specified topology's spouts.
-----------------------------------------------------------------------------------------------
activate storm activate topology-name
激活指定的任务
classpath storm classpath
打印storm的classpath
deactivate storm deactivate topology-name
暂停storm的任务
dev-zookeeper storm dev-zookeeper
启动一个新的Zookeeper,这种情况只用于dev/test
drpc storm drpc
启动一个DRPC进程
help
jar storm jar topology-jar-path class
运行你的storm job,topology是类中的主函数
kill storm kill topology-name [-w wait-time-secs]
通过任务名称kill一个任务,storm会先使任务接口无效,使已经存在的消息被处理完成,然后会关闭任务并清除状态,你可以使用-w延迟几秒后关闭任务
list storm list
列出正在运行的topolofies和状态
localconfvalue storm localconfvalue conf-name
打印出conf-name在本地storm配置文件中的值
nimbus storm nimbus
启动一个nimubs进程。
rebalance storm rebalance topology-name [-w wait-time-secs]
有时候你想扩展你的任务运行在某些机器上,比如你有10个节点,每个节点运行4个任务,然后又增加了10个节点,你希望每个节点运行2个任务,一种方法是kill掉任务,重新提交,但是storm提供rebalance命令来做这件事。
remoteconfvalue storm remoteconfvalue conf-name
打印出conf-name在storm cluster中的值
repl storm repl
打开一个clojure repl,对debugging有用
shell
supervisor storm supervisor
启动一个supervisor进程
ui storm ui
启动一个ui进程
version
logviewer
启动Logviewer守护进程。语法如下:
storm logviewer
Logviewer提供一个Web接口查看Storm日志文件。该命令应该使用daemontools或者monit工具监控运行。
相关推荐
主分支: ##包裹包战 mvn clean package -DskipTests=true -Dwarcp ./target/storm-ui.war $TOMCAT_HOME/webapps/包装罐 mvn clean package -DskipTests=truecp ./target/storm-ui-*.jar $STORM_HOME/external/...
生成的JAR文件(如`storm_demo.jar`)可以用Storm的命令行工具提交到本地或远程的Storm集群上运行,例如`storm jar storm_demo.jar WordCountTopology wordcount`。 5. **监控与调试** Storm提供了Web UI,可以...
- `bin/`:包含了启动和管理Storm服务的脚本,如`storm`命令行工具。 - `conf/`:存放配置文件,如`storm.yaml`,用于设置Storm集群参数。 - `lib/`:Storm的库文件和其他依赖的JAR包。 - `examples/`:可能包含了...
3. **配置文件**:如`storm.yaml`,这是Storm的主配置文件,用于设置集群参数,如nimbus服务器地址、worker进程数等。 4. **启动脚本**:如`storm nimbus`、`storm supervisor`等,这些脚本用于启动Storm的各种服务...
1. **bin**:包含启动、停止和管理Storm服务的脚本,如`storm`命令行工具和`storm jar`用于运行拓扑的脚本。 2. **config**:默认配置文件,如`storm.yaml`,用户可以在此修改以适应其特定环境。 3. **lib**:包含...
- **配置**:编辑配置文件`storm.yaml`,设置Nimbus和Supervisor等关键参数。 **2.4 集成Kafka** 如果需要从Kafka获取数据流,还需要安装Kafka并与Storm集成。此过程包括Kafka的安装、配置以及开发适配器。 **2.5...
Storm入门教程 之Storm原理和概念详解,出自Storm流计算从入门到精通之技术篇,Storm入门视频教程用到技术:Storm集群、Zookeeper集群等,涉及项目:网站PV、UV案例实战、其他案例; Storm视频教程亮点: 1、Storm...
用户需要根据自己的环境(包括Storm集群的地址、端口,以及可能的配置参数)修改这个脚本,特别是words111.txt的路径,然后执行脚本来启动实例。 在深入了解这个实例之前,用户需要具备以下知识: - Apache Storm的...
- 打开 `config/server.properties` 文件,配置Broker ID等参数。 4. **创建Topic:** - 运行命令 `bin/kafka-topics.sh --create --zookeeper hadoop02:2181 --replication-factor 1 --partitions 2 --topic ka_...
- **bin**目录:包含了运行和管理Storm集群所需的脚本,如`storm`命令行工具。 - **conf**目录:存放配置文件,如`storm.yaml`,用于配置Storm集群。 - **lib**目录:包含Storm的库文件和其他依赖项。 - **logs**...
4. **环境变量设置**:为了方便使用 Storm 的命令行工具,还需要在所有节点上设置环境变量。可以在 `/etc/profile` 文件中添加以下内容: ```bash #storm export STORM_HOME=/root/soft/storm-1.0.1 export PATH...
Storm提供了命令行工具和API来管理Topologies的生命周期。同时,可以通过Storm UI进行监控,查看各个组件的性能指标,如处理速率、延迟等。 6. **优化与扩展** 在实际应用中,我们可能会考虑优化性能,比如使用更...
Apache Storm 是一个分布式实时计算系统,它被设计用于处理大规模数据流,提供高吞吐量、低延迟的数据处理能力。在大数据领域,Storm 被广泛应用于实时分析、在线机器学习、持续计算、数据集成以及任何需要实时处理...
还可以使用命令行工具`storm`来管理拓扑,如`storm kill`用于停止拓扑,`storm list`列出所有运行的拓扑。 总的来说,部署Storm涉及多个步骤,包括Java和Zookeeper的安装、环境变量的设置、Storm的安装和配置,以及...
在Storm的shell工具或者开发环境中,这个库可能用于命令行交互。 4. `joda-time-2.0.jar`:Joda-Time是一个日期和时间处理库,提供了比Java内置日期类更强大的功能。在处理时间相关的数据或者窗口操作时,可能会...
3. **设置配置文件**:在`conf`目录下,修改`storm.yaml`文件以配置你的集群设置,包括Nimbus(主节点)、Supervisor(工作节点)的地址,以及其他必要的参数。 4. **启动Nimbus**:在Nimbus节点上,执行`bin/storm...
- 通过命令行工具对Topology进行运维操作。 3. 资源优化: - 理解并优化Spout和Bolt的并发度(parallelism hint)来提高资源的利用率。 - 调整批处理大小和超时时间以适应不同的业务场景和数据处理需求。 4. ...