Storm命令行参数研究
[root@node1 ~]# storm
Commands:
activate
classpath
deactivate
dev-zookeeper
drpc
help
jar
kill
list
localconfvalue
logviewer
monitor
nimbus
rebalance
remoteconfvalue
repl
shell
supervisor
ui
version
Help:
help
help <command>
Documentation for the storm client can be found at http://storm.incubator.apache.org/documentation/Command-line-client.html
Configs can be overridden using one or more -c flags, e.g. "storm list -c nimbus.host=nimbus.mycompany.com"
[root@node1 ~]# storm help activate
Syntax: [storm activate topology-name]
Activates the specified topology's spouts.
-----------------------------------------------------------------------------------------------
activate storm activate topology-name
激活指定的任务
classpath storm classpath
打印storm的classpath
deactivate storm deactivate topology-name
暂停storm的任务
dev-zookeeper storm dev-zookeeper
启动一个新的Zookeeper,这种情况只用于dev/test
drpc storm drpc
启动一个DRPC进程
help
jar storm jar topology-jar-path class
运行你的storm job,topology是类中的主函数
kill storm kill topology-name [-w wait-time-secs]
通过任务名称kill一个任务,storm会先使任务接口无效,使已经存在的消息被处理完成,然后会关闭任务并清除状态,你可以使用-w延迟几秒后关闭任务
list storm list
列出正在运行的topolofies和状态
localconfvalue storm localconfvalue conf-name
打印出conf-name在本地storm配置文件中的值
nimbus storm nimbus
启动一个nimubs进程。
rebalance storm rebalance topology-name [-w wait-time-secs]
有时候你想扩展你的任务运行在某些机器上,比如你有10个节点,每个节点运行4个任务,然后又增加了10个节点,你希望每个节点运行2个任务,一种方法是kill掉任务,重新提交,但是storm提供rebalance命令来做这件事。
remoteconfvalue storm remoteconfvalue conf-name
打印出conf-name在storm cluster中的值
repl storm repl
打开一个clojure repl,对debugging有用
shell
supervisor storm supervisor
启动一个supervisor进程
ui storm ui
启动一个ui进程
version
logviewer
启动Logviewer守护进程。语法如下:
storm logviewer
Logviewer提供一个Web接口查看Storm日志文件。该命令应该使用daemontools或者monit工具监控运行。
相关推荐
生成的JAR文件(如`storm_demo.jar`)可以用Storm的命令行工具提交到本地或远程的Storm集群上运行,例如`storm jar storm_demo.jar WordCountTopology wordcount`。 5. **监控与调试** Storm提供了Web UI,可以...
主分支: ##包裹包战 mvn clean package -DskipTests=true -Dwarcp ./target/storm-ui.war $TOMCAT_HOME/webapps/包装罐 mvn clean package -DskipTests=truecp ./target/storm-ui-*.jar $STORM_HOME/external/...
- `bin/`:包含了启动和管理Storm服务的脚本,如`storm`命令行工具。 - `conf/`:存放配置文件,如`storm.yaml`,用于设置Storm集群参数。 - `lib/`:Storm的库文件和其他依赖的JAR包。 - `examples/`:可能包含了...
Storm是一个分布式实时计算系统,能够有效地处理大量数据流。它由Twitter公司开发,最初的目的是为了处理大规模的数据,如社交网络上的实时信息更新。Storm的基本单位是“topology”(拓扑结构),它可以理解为一个...
Storm入门到精通 Storm 是一个分布式实时计算系统,主要用于处理大规模数据流。它的核心组件包括Spout和Bolt,分别负责数据的输入和处理。下面是对 Storm 的一个概述,从基础知识到实践应用。 Storm 组件 Storm ...
2. **性能优化**:根据实际需求调整`KafkaSpout`的批处理大小、重试间隔和消费者组大小等参数,以优化性能。 3. **数据一致性**:理解并正确处理Kafka的分区和offset管理,确保数据处理的准确性和顺序性。 4. **监控...
3. **配置文件**:如`storm.yaml`,这是Storm的主配置文件,用于设置集群参数,如nimbus服务器地址、worker进程数等。 4. **启动脚本**:如`storm nimbus`、`storm supervisor`等,这些脚本用于启动Storm的各种服务...
1. **bin**:包含启动、停止和管理Storm服务的脚本,如`storm`命令行工具和`storm jar`用于运行拓扑的脚本。 2. **config**:默认配置文件,如`storm.yaml`,用户可以在此修改以适应其特定环境。 3. **lib**:包含...
- **配置**:编辑配置文件`storm.yaml`,设置Nimbus和Supervisor等关键参数。 **2.4 集成Kafka** 如果需要从Kafka获取数据流,还需要安装Kafka并与Storm集成。此过程包括Kafka的安装、配置以及开发适配器。 **2.5...
Apache Storm 是一个分布式实时计算系统,它被设计用于处理大规模数据流,提供高吞吐量、低延迟的数据处理能力。在大数据领域,Storm 被广泛应用于实时分析、在线机器学习、持续计算、数据集成以及任何需要实时处理...
Storm入门教程 之Storm原理和概念详解,出自Storm流计算从入门到精通之技术篇,Storm入门视频教程用到技术:Storm集群、Zookeeper集群等,涉及项目:网站PV、UV案例实战、其他案例; Storm视频教程亮点: 1、Storm...
用户需要根据自己的环境(包括Storm集群的地址、端口,以及可能的配置参数)修改这个脚本,特别是words111.txt的路径,然后执行脚本来启动实例。 在深入了解这个实例之前,用户需要具备以下知识: - Apache Storm的...
- 打开 `config/server.properties` 文件,配置Broker ID等参数。 4. **创建Topic:** - 运行命令 `bin/kafka-topics.sh --create --zookeeper hadoop02:2181 --replication-factor 1 --partitions 2 --topic ka_...
- **bin**目录:包含了运行和管理Storm集群所需的脚本,如`storm`命令行工具。 - **conf**目录:存放配置文件,如`storm.yaml`,用于配置Storm集群。 - **lib**目录:包含Storm的库文件和其他依赖项。 - **logs**...
4. **环境变量设置**:为了方便使用 Storm 的命令行工具,还需要在所有节点上设置环境变量。可以在 `/etc/profile` 文件中添加以下内容: ```bash #storm export STORM_HOME=/root/soft/storm-1.0.1 export PATH...
Storm提供了命令行工具和API来管理Topologies的生命周期。同时,可以通过Storm UI进行监控,查看各个组件的性能指标,如处理速率、延迟等。 6. **优化与扩展** 在实际应用中,我们可能会考虑优化性能,比如使用更...
在Storm中,你可以创建测试用例,输入相应的请求参数,模拟客户端行为,然后检查响应结果,确保数据的正确性和格式的合法性。 4. SOAP与RESTful测试: Storm支持SOAP Web服务测试,用户可以导入WSDL文件,自动生成...
Storm是一个开源的分布式实时计算系统,由Twitter开发并开源,旨在实现高可靠性、可伸缩性、快速处理无界数据流。Storm可以与Hadoop进行类比,但相较于Hadoop处理批量数据的批处理方式,Storm更专注于处理实时数据流...
还可以使用命令行工具`storm`来管理拓扑,如`storm kill`用于停止拓扑,`storm list`列出所有运行的拓扑。 总的来说,部署Storm涉及多个步骤,包括Java和Zookeeper的安装、环境变量的设置、Storm的安装和配置,以及...