`
wbj0110
  • 浏览: 1615152 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

Storm 本地模式运行WordCountTopology

阅读更多

 下载Storm,地址为https://github.com/nathanmarz/storm,Storm用于将JAR包和Topology的主类提交给nimbus。本地模式我们只需记住一个命令:storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies storm.starter.WordCountTopology
    下载strom-starter,地址为https://github.com/nathanmarz/storm-starter,在本地模式跑通里面的WordCountTopology例子。
    下载Maven,地址为http://maven.apache.org/download.html,用于对storm-starter中例子的所有代码以及所以来的JAR包进行打包。
    1  下载好strom,将storm的bin目录放到PATH路径下。并将bin目录下的storm脚本设置成可执行模式。
    2  开始安装maven. 下载好maven,将bin目录放到PATH路径即可。
    3  进入storm-starter的文件夹,里面有一个m2-pom.xml的文件,这个文件里面记录着storm-starter所依赖的jar包,jar包由maven仓促管理。运行mvn -f m2-pom.xml package命令。将会执行几分钟,因为会下载一些依赖的Jar包。。如果出现有些jar包不能下载。那就需要自己手动下载然后发到~/.m2/repository文件夹下。~号,代表的是当前用户的目录。windows下是C:\Documents and Settings\your_host_name\.m2\repository下。linux运行一下cd ~ && pwd命令,然后在去找.m2文件夹即可。
    4  执行完上步骤后,会在storm-starter文件夹下生成一个target目录,里面生成两个Jar包。一个是storm-starter-0.0.1-SNAPSHOT.jar,另一个是 storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar,然后在此目录运行storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology这个命令就会在本机模式下,用线程模拟storm平台执行topology。执行结果显示无误的话,输出会有10000多行

分享到:
评论

相关推荐

    Storm本地模式WordCount亲测可用

    "Storm本地模式"是Storm提供的一种在单机环境中进行开发和测试的机制,无需分布式环境即可运行拓扑结构。这种模式对于初学者和开发者来说非常实用,因为它允许快速迭代和调试代码。 本教程将详细介绍如何使用Java...

    Storm 本地运行 统计字母出现次数

    在本地模式下,Storm可以在单机上模拟整个集群环境,方便开发者进行调试和测试。在这种模式下,所有的组件都在同一个进程中运行,简化了开发和验证流程。要运行一个Storm拓扑在本地,需要使用`LocalCluster`类并提交...

    基于Storm本地集群搭建实时统计CallLog实现可运行

    5. **本地集群搭建**:在本地机器上,你可以使用`storm local`命令快速启动一个本地模式的Storm集群,以便于调试。首先,确保已下载并安装了Storm,然后在Storm的bin目录下运行: ``` storm local ``` 这将在...

    storm实例,可以直接运行

    标题中的“storm实例,可以直接运行”表明这是一个关于Apache Storm的实际应用案例,Apache Storm是一个开源的分布式实时计算系统,常用于处理大规模数据流。这个实例可能是为了演示如何在Storm集群上部署和运行一个...

    storm1.2.1-单机部署,运行自己开发的jar

    启动Storm单机模式。在命令行中输入以下命令: ```bash storm nimbus ``` 这将启动Storm的Nimbus服务器,它是任务调度器和资源分配中心。接着启动Supervisor服务,用于执行实际的计算任务: ```bash storm ...

    storm入门.pdf

    Storm集群的运行模式包括本地模式和分布式模式。本地模式适用于开发和测试阶段,而分布式模式则适合生产环境。搭建Storm开发环境需要安装Java运行环境和Apache Storm软件包,并配置相应的环境变量。此外,还需要搭建...

    Storm综合案例二Storm集群向Kafka集群读取数据并写入MySQL远程模式

    今天接上文,来实现一个Storm数据流处理综合案例的第二部分,Storm集群向Kafka集群源源不断读取数据,通过MyBatis写入到MySQL数据库,并部署为远程模式 准备工作 参考上文准备工作 代码编写 思路:Storm集群从...

    Storm API实现词频统计

    生成的JAR文件(如`storm_demo.jar`)可以用Storm的命令行工具提交到本地或远程的Storm集群上运行,例如`storm jar storm_demo.jar WordCountTopology wordcount`。 5. **监控与调试** Storm提供了Web UI,可以...

    storm demo 单机版 maven

    4. **本地模式运行**:在开发和测试阶段,Storm提供了一个本地模式,可以在单机上模拟整个集群的运行情况,无需真正部署到集群。 5. **Java编程**:编写Storm拓扑通常使用Java或JVM语言(如Scala),利用Storm的...

    storm开发jar包以及storm例子源码

    例如,`storm jar my-storm-topology.jar com.exampleTopology.WordCountTopology`会启动名为WordCountTopology的拓扑。 描述中提到的"仅供参考"提示,这些资源可能包含示例代码和说明,帮助初学者理解如何在Storm ...

    Storm入门到精通

    * 最后,配置 Storm 的操作模式,可以是本地模式或远程模式。 Spout Spout 是 Storm 中的数据输入组件,负责从外部数据源读取数据。Spout 的主要方法包括: * nextTuple():读取下一个数据元组。 * ...

    Storm常见模式

    对于每一次函数调用,Storm集群上运行的拓扑接收调用函数的参数信息作为输入流,并将计算结果作为输出流发射出去。DRPC本身算不上Storm的特性,它是通过Storm的基本元素:streams,spouts,bolts,topologies而衍生...

    Storm 上手 demo 例子 演示

    5. **提交拓扑**:一旦在本地模式下测试成功,你可以将拓扑提交到运行Storm的集群,进行实时处理。 6. **Zookeeper的使用**:Storm依赖Zookeeper进行集群管理和协调,理解Zookeeper的角色和配置也很重要。 7. **...

    Storm:使用 Apache Storm 的示例

    要以分布式模式运行拓扑,您需要一个 Storm 集群,或者只是一个 VM。 以下部分将解释如何在 Linux VM 上安装 Storm。 安装风暴服务器 这些说明是通过阅读大量文档和网络搜索而得到的。 最重要的资源是一篇博文。 ...

    Storm编程实践(安装Maven-使用Maven编译运行代码-mvn 打包)

    Storm 编程实践(安装 Maven-使用 Maven 编译运行代码-mvn 打包) 本文档介绍了 Storm 编程实践的实践报告,涵盖了安装 Maven、使用 Maven 编译运行代码和 mvn 打包等内容。报告中还包括了实验环境的配置、实验内容...

    storm-cli:Apache Storm 的 cli

    主分支: 风暴-cli Apache Storm 的 cli 字数示例 set topology.name=test_topology; set storm.jar=./jstorm-example-0.9.0.jar;...REGISTER count=BOLT(1, "storm.starter.WordCountTopology$WordCount").FIE

    大数据_Storm_Storm的集群模式与本地模式 (基于Storm 1.0.1)-附件资源

    大数据_Storm_Storm的集群模式与本地模式 (基于Storm 1.0.1)-附件资源

    storm组件安装部署.doc

    Storm的本地模式可以在单机上运行,用于测试和开发。启动Storm的本地模式,执行`$STORM_HOME/bin/storm local nimbus`。这将在本地模拟一个Storm集群。若要部署到生产环境,需要配置多节点集群,包括Nimbus(主控...

    storm入门 PDF 下载

    4. **本地模式与生产环境**:学习Storm时,通常会先在本地模式下运行拓扑,进行调试和测试,然后再部署到生产环境中。 5. ** Trident API**:Trident是Storm提供的高级API,它支持精确一次的语义,可以更方便地构建...

    jstorm storm入门demo

    描述提到"jstorm storm 入门demo,包含本地模式 和 集群模式",这表明示例涵盖了两种运行模式。本地模式允许开发者在单机环境下快速测试和调试拓扑,而集群模式则是在分布式环境中运行大规模实时处理任务。四个类的...

Global site tag (gtag.js) - Google Analytics