运行从github上把 storm-starter的代码 fork下来
将m2-pom.xml重命名为pom.xml,编译一下,导入eclipse里
运行第一个例子ExclamationTopology
问题1
java.net.SocketException: Address family not supported by protocol family: connect
stackoverflow上说是因为Java7会自动使用IPv6进行连接,修改方法是 添加jvm参数 -Djava.net.preferIPv4Stack=true,该参数会强制jvm走IPv4
问题2
提示找不到kryo的类,很明显,pom中没有依赖kryo,引入
<dependency>
<groupId>com.esotericsoftware.kryo</groupId>
<artifactId>kryo</artifactId>
<version>2.22</version>
</dependency>
问题3
java.lang.NoSuchMethodError: backtype.storm.serialization.DefaultKryoFactory$KryoSerializableDefault.setReferences(Z)V
这好像是个版本冲突啊,查了下 https://github.com/thinkaurelius/titan/issues/301
使用推荐的Kryo 版本 2.17
<dependency>
<groupId>com.esotericsoftware.kryo</groupId>
<artifactId>kryo</artifactId>
<version>2.17</version>
</dependency>
问题解决,本地运行ok
相关推荐
"Storm本地模式"是Storm提供的一种在单机环境中进行开发和测试的机制,无需分布式环境即可运行拓扑结构。这种模式对于初学者和开发者来说非常实用,因为它允许快速迭代和调试代码。 本教程将详细介绍如何使用Java...
在本地模式下,Storm可以在单机上模拟整个集群环境,方便开发者进行调试和测试。在这种模式下,所有的组件都在同一个进程中运行,简化了开发和验证流程。要运行一个Storm拓扑在本地,需要使用`LocalCluster`类并提交...
Storm集群的运行模式包括本地模式和分布式模式。本地模式适用于开发和测试阶段,而分布式模式则适合生产环境。搭建Storm开发环境需要安装Java运行环境和Apache Storm软件包,并配置相应的环境变量。此外,还需要搭建...
* 最后,配置 Storm 的操作模式,可以是本地模式或远程模式。 Spout Spout 是 Storm 中的数据输入组件,负责从外部数据源读取数据。Spout 的主要方法包括: * nextTuple():读取下一个数据元组。 * ...
5. **本地集群搭建**:在本地机器上,你可以使用`storm local`命令快速启动一个本地模式的Storm集群,以便于调试。首先,确保已下载并安装了Storm,然后在Storm的bin目录下运行: ``` storm local ``` 这将在...
4. **本地模式测试**:在提交到集群前,可以使用Storm的本地模式进行快速验证,这使得开发者能够在本地单机环境中调试拓扑。 5. **提交拓扑**:一旦在本地模式下测试成功,你可以将拓扑提交到运行Storm的集群,进行...
通常,这可以通过使用Maven的`storm-starter`依赖和Storm的本地模式来实现,这样就可以在本地环境中模拟整个Storm集群的行为。 **标签解析:** 1. **storm** - 指Apache Storm,一个开源的分布式实时处理系统,常...
4. **本地模式与生产环境**:学习Storm时,通常会先在本地模式下运行拓扑,进行调试和测试,然后再部署到生产环境中。 5. ** Trident API**:Trident是Storm提供的高级API,它支持精确一次的语义,可以更方便地构建...
启动Storm的本地模式,执行`$STORM_HOME/bin/storm local nimbus`。这将在本地模拟一个Storm集群。若要部署到生产环境,需要配置多节点集群,包括Nimbus(主控节点)、Supervisor(工作节点)和UI(用户界面)。 **...
3. **本地模式**:在开发过程中,可以使用本地模式在单机上模拟全分布式环境,方便快速测试和调试。 4. ** storm.yaml配置**:配置文件storm.yaml用于设置Storm集群的参数,如nimbus服务器地址、supervisor节点配置...
- **Cluster 模式**: Storm 可以部署在本地模式进行开发测试,也可以在多机器集群上进行生产部署。 6. **监控与日志** - **UI界面**: Storm 提供了一个 Web UI,展示拓扑状态、性能指标以及错误信息,方便监控和...
9. **开发与部署**:学习如何编写Storm拓扑,使用本地模式进行测试,以及如何将它们部署到生产环境,是成为Storm开发者的必备技能。 10. **社区与资源**:Apache Storm有一个活跃的开发者社区,提供了丰富的教程、...
4. **本地模式**:在本地环境中运行拓扑,进行测试和调试。 5. **提交到集群**:了解如何配置和提交拓扑到真实的Storm集群,以处理大规模的数据流。 6. **容错性**:学习Storm如何确保数据流的可靠性和无丢失处理。 ...
首先,你需要在本地机器上安装Java Development Kit (JDK) 8或更高版本,因为Storm依赖于Java环境。你可以从Oracle官网下载并安装适合你操作系统的JDK版本。 接下来,下载Apache Storm 1.2.1的源码或预编译二进制包...
本地模式允许开发者在单机环境下快速测试和调试拓扑,而集群模式则是在分布式环境中运行大规模实时处理任务。四个类的提及意味着这个demo虽然简单,但包含了实现基本功能所需的关键组件,比如Spout(数据源)、Bolt...
- Storm提供本地模式,方便开发和调试,所有组件运行在同一JVM上。而集群部署则将拓扑分布到多台机器上,实现水平扩展。"StormDemo"可能有本地运行和集群提交的示例代码。 8. **Zookeeper与Nimbus** - Storm使用...
9. **测试与部署**:在本地环境中编译和测试这个项目后,可以通过提交拓扑到Storm集群来部署和运行。 通过学习这个"storm集成kafka插demo.zip",开发者可以了解到如何在实际项目中构建一个实时数据处理系统,将实时...