四、在storm上发布应用
1、主类传递参数形式
c:\project\storm\conf.yaml是传递到主类main方法的参数值
storm jar c:\project\storm\testjstorm-0.1-jar-with-dependencies.jar com.TestParseTopology c:\project\storm\conf.yaml -c nimbus.host=localhost
三、删除Strom上Topology
storm kill {stormname}
二、Storm、JStrom在windows的集成
1、下载 apache-storm-0.10.0.zip,直接解压使用
2、下载jstorm-2.0.4-SNAPSHOT.tar.gz,提取其中jstorm-core-2.0.4-SNAPSHOT.jar里的com目录里全部类,把这些类放到 $STORM_HOME$/lib/ storm-core-0.10.0.jar中。
3、将如下的jar包放入 $STORM_HOME$/lib/
commons-cli-1.2.jar
commons-codec-1.6.jar
commons-exec-1.1.jar
commons-io-2.4.jar
commons-lang-2.5.jar
4、此时,可以运行 基于JStrom编写的storm程序。
一、windows安装storm
注意:
在windows下运行storm nimbus命令时,在%STORM_HOME%\bin\storm-config.cmd里修改STORM_LOGBACK_CONFIGURATION_FILE配置参数。
修改前的内容:
if not defined STORM_LOGBACK_CONFIGURATION_FILE (
set STORM_LOGBACK_CONFIGURATION_FILE=%STORM_HOME%\log4j2\cluster.xml
)
修改后的内容:
if not defined STORM_LOGBACK_CONFIGURATION_FILE (
set STORM_LOGBACK_CONFIGURATION_FILE=file://%STORM_HOME%\log4j2\cluster.xml
)
参考:
http://blog.csdn.net/cauchy8389/article/details/39586763
分享到:
相关推荐
**Storm记录级容错机制详解** Storm作为实时流处理框架,提供了一种高效且精确的一次处理(Exactly-once processing guarantee)方式,即记录级容错。这种机制确保每个消息单元在拓扑中的处理状态可追踪,从而实现...
0.9.0版本是Storm发展历史中的一个重要里程碑,它可能引入了一些新特性、改进或修复了已知问题,以提升系统的稳定性和性能。 标签"storm.jar"表明这是一个与Storm相关的JAR文件,通常这样的文件会包含运行Storm拓扑...
在本场景中,可能涉及到的是通过Storm的拓扑结构,来监控和分析Web Service请求和响应的实时数据流,以便找出可能导致问题的部分。 首先,了解Storm的基本概念是必要的。Storm的核心组件包括Spouts(数据源)、...
- **前身 Shark**: Shark 是 Spark SQL 的前身,它试图解决 Hive 的一些限制,比如执行效率低下等问题。然而,由于 Shark 对 Hive 的高度依赖,最终导致 Spark 团队决定开发一个全新的 SQL 引擎。 - **功能**: ...
4. 错误提示与日志记录:清晰地展示错误信息,帮助定位问题所在,并能保存调试记录,方便后续分析。 5. 安全性:可能具备SSL/TLS支持,以确保敏感数据在传输过程中的安全。 通过使用Storm Webservice接口调试工具,...
- **日志系统**: Storm 使用 Log4j 或其他日志框架记录运行日志,帮助开发者追踪和解决问题。 通过阅读和理解 Storm 0.9 的源码,开发者可以更好地利用其特性,优化性能,以及在遇到问题时迅速定位并解决。同时,...
此外,为了更好地调试和监控,该项目可能还包括日志记录和可视化工具,如Log4j记录运行日志,以及Grafana或Kibana展示实时处理指标。这有助于开发者了解系统性能和发现潜在问题。 总的来说,storm_Kafka_demo项目...
6. `logback-core-1.0.13.jar`:Logback是另一个日志框架,比log4j更高效且可配置性更强,用于记录和管理Storm的运行时日志。 7. `jgrapht-core-0.9.0.jar`:JGraphT是一个用于创建和操作图结构的Java库,可能在...
5. **Storm/errors/<topology-id>/<component-id>/e**:存储运行过程中每个组件发生的错误信息,<sequential-id> 是一个递增的序列号,每个组件最多保留最近的 10 条错误记录。 Nimbus、Supervisor 和 Worker 之间...
8. **监控和日志**:对于生产环境的Web服务,监控其性能和健康状态至关重要,这可能涉及到集成Prometheus、Grafana等工具,以及使用Log4j等日志框架记录操作日志。 9. **测试和部署**:使用如Junit进行单元测试,...
3. 动态测试:在不同速度和方向下测试设备性能,记录数据。 4. 参数调整:根据测试结果,调整滤波器参数、PID控制器增益等,以优化动态响应和稳定性。 5. 验证与迭代:反复进行测试和调整,直到达到满意的性能指标。...
- 利用日志和监控工具对故障进行记录和分析。 - 常用的监控工具包括Storm自带的UI以及集成度量指标库如Ganglia或Prometheus。 6. Storm Trident与高级特性: - 掌握Storm Trident API使用,它为高级流处理提供了...
Storm工具可能提供了对这些方面的全面支持,使开发者能快速定位问题。 对于"调试工具"来说,其关键功能包括: 1. 请求构造:允许用户自定义请求头、URL、方法和负载数据。 2. 参数化:支持动态参数,方便进行各种...
STORM平台允许用户通过XML文件指定要仿真的架构和调度策略,仿真结果会生成一系列执行轨迹,这些轨迹可以直接以图表形式展示或记录到文件中以供后续分析。这些结果有助于用户全面分析系统的各项指标,包括任务行为、...
- **重试**:如果在某个点上tuple处理失败,Storm会记录这个失败,并在超时后重试未确认的tuple。 3. **可靠性的实现** - **时间窗口**:Storm使用了一个超时窗口,如果在设定的时间内没有接收到ack,那么会认为...
3. **游戏逻辑**:井字棋游戏的规则简单,但要在分布式系统中实现,需要考虑到并发玩家操作、游戏状态同步以及游戏结束条件判断等问题。可能采用的消息队列(如Kafka)进行消息传递,确保玩家操作的顺序正确。 4. *...
【Storm_r1.1-Adarna】是一款专用于调试Web Service接口的工具,它为开发者提供了高效、便捷的方式来测试和验证Web服务的功能和性能。在Web服务开发中,正确理解和使用此类工具对于确保服务的质量和稳定性至关重要。...
在这个版本中,Storm Hook 允许Apache Atlas 监控和记录 Storm 作业的数据流,这对于理解数据流动路径、追踪数据来源以及实施数据治理策略至关重要。 Apache Storm 是一个开源的分布式实时计算系统,它可以持续处理...
- **User History Bolt**:记录用户的访问历史。 - **Product Categories Counter Bolt**:统计每个产品的访问频率。 - **News Notifier Bolt**:向 Redis 服务器发送最新产品分类信息的通知。 **测试 Topology**:...