`
wbj0110
  • 浏览: 1602735 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

Maven构建storm

阅读更多

Maven

To develop topologies, you'll need the Storm jars on your classpath. You should either include the unpacked jars in the classpath for your project or use Maven to include Storm as a development dependency. Storm is hosted on Clojars (a Maven repository). To include Storm in your project as a development dependency, add the following to your pom.xml:

<repository>
  <id>clojars.org</id>
  <url>http://clojars.org/repo</url>
</repository>
<dependency>
  <groupId>storm</groupId>
  <artifactId>storm</artifactId>
  <version>0.7.2</version>
  <scope>test</scope>
</dependency>

Here's an example of a pom.xml for a Storm project.

If Maven isn't your thing, check out leiningen. Leiningen is a build tool for Clojure, but it can be used for pure Java projects as well. Leiningen makes builds and dependency management using Maven dead-simple. Here's an example project.clj for a pure-Java Storm project:

(defproject storm-starter "0.0.1-SNAPSHOT"
  :java-source-path "src/jvm"
  :javac-options {:debug "true" :fork "true"}
  :jvm-opts ["-Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib"]
  :dependencies []
  :dev-dependencies [
                     [storm "0.7.2"]
                     ])

You can fetch dependencies using lein deps, build the project with lein compile, and make a jar suitable for submitting to a cluster withlein uberjar.

Using Storm as a library

If you want to use Storm as a library (e.g., use the Distributed RPC client) and have the Storm dependency jars be distributed with your application, there's a separate Maven dependency called "storm/storm-lib". The only difference between this dependency and the usual "storm/storm" is that storm-lib does not have any logging configured.

Developing Storm

You will want to

bash ./bin/install_zmq.sh   # install the jzmq dependency
lein sub install

Build javadocs with

bash ./bin/javadoc.sh

Building a Storm Release

Use the file bin/build_release.sh to make a zipfile like the ones you would download (and like what the bin files require in order to run daemons).

come from sorm 's wiki

分享到:
评论

相关推荐

    maven对storm打包

    Maven是Java项目管理和构建工具,Storm是分布式实时计算系统。Maven可以对Storm项目进行打包,生成可执行的Jar包。下面是使用Maven对Storm项目进行打包的步骤和知识点: 一、创建Maven项目 首先,需要创建一个...

    Storm编程实例

    在这个“Storm编程实例”中,我们将深入理解如何利用Maven构建Storm项目,以及Storm的核心概念和运行流程。 **1. Maven集成** Maven是Java开发中的一个项目管理工具,用于构建、管理和部署项目。在Storm编程中,...

    storm+zookeeper+maven安装包

    在安装和部署Storm、Zookeeper等复杂项目时,Maven能够自动下载所需的库文件,管理项目的依赖关系,以及执行构建任务,极大地提高了开发效率。 在安装"storm+zookeeper+maven"的过程中,首先需要确保你的系统已经...

    storm demo 单机版 maven

    "storm demo 单机版 maven" 这个标题表明这是一个关于Apache Storm的演示项目,特别设计用于在单机模式下运行,并且使用Maven作为构建工具。Apache Storm是一个分布式实时计算系统,它允许开发者处理无界数据流。...

    storm maven .m2

    Apache Storm是一个开源的分布式实时计算系统,而Maven是Java项目管理和构建工具,它使用一个名为`.m2`的目录来存储依赖库的本地副本。 在Java开发中,Maven的`.m2`目录扮演着至关重要的角色。每当我们在项目中添加...

    Storm的文档详解

    ### Storm的文档详解 #### 一、Storm基础概念 **1.1 什么是Storm?** Apache Storm 是一款免费且开源的分布式实时计算系统。...通过对以上核心概念的理解,可以更好地利用 Storm 构建高效稳定的实时数据处理系统。

    storm开发jar包以及storm例子源码

    2. **创建Storm项目**:使用Maven创建一个新的Java项目,添加Storm的依赖到pom.xml文件中。这通常包括storm-core、storm-starter等基础库。 3. **编写拓扑**:在Java代码中定义拓扑结构,这是Storm的核心概念。一个...

    Storm API实现词频统计

    完成代码编写后,我们需要构建项目为可执行的JAR包,这在Maven项目中通常通过`mvn package`命令实现。生成的JAR文件(如`storm_demo.jar`)可以用Storm的命令行工具提交到本地或远程的Storm集群上运行,例如`storm ...

    storm-kakfa使用state例子源码

    1. `pom.xml` - Maven配置文件,定义了项目的依赖,包括storm-kafka和可能的XML解析库。 2. `Topology.java` - 定义了Storm拓扑结构,创建Spout和Bolt的实例,并设置它们之间的连接。 3. `KafkaBolt.java` - 实现了...

    storm大数据相关代码

    - **示例拓扑**:展示如何构建和部署一个简单的Storm应用。 - **配置文件**:如`storm.yaml`,用于配置Storm集群的参数。 - **Java或Python代码**:实现Spout和Bolt的业务逻辑。 - **测试脚本**:验证代码正确性的...

    flume+kafka+storm最完整讲解

    然后在 Eclipse 中创建一个新的 Storm 项目,并添加相关的 Maven 依赖,如 `storm-core`。编写拓扑结构,使用 `kafkaSpout` 从 Kafka 拉取数据,再进行进一步的处理。 【Maven】 Maven 是一个项目管理工具,用于...

    storm集成kafka插demo.zip

    通过学习这个"storm集成kafka插demo.zip",开发者可以了解到如何在实际项目中构建一个实时数据处理系统,将实时数据流从Kafka导入到Storm进行复杂计算,并了解相关的配置和编程模型。这将对理解实时大数据处理和...

    kafka-storm-starter-develop

    2. **构建项目**:使用构建工具(如 Maven)从源代码构建项目。 3. **配置 Kafka**:设置 Kafka 的 broker 配置,并创建需要的 topic。 4. **编写 Storm Topology**:编写 Storm 代码,定义 bolts 和 spouts,处理从...

    简单的storm例子.rar

    为了运行这个storm例子,用户需要先解压文件,然后使用Maven或者类似的构建工具编译源代码,最后使用Storm CLI或本地模式启动拓扑。在运行过程中,可以观察到数据如何在Spouts和Bolts之间流动,以及如何进行实时处理...

    storm_wordcount.zip

    6. **target目录**:Maven构建的输出结果会放在这里,包括编译后的类文件和打包的JAR文件。 7. **.idea目录**:这是IntelliJ IDEA的项目配置信息,包含了一些用于IDE的设置和索引,帮助开发者更好地管理项目。 ...

    storm+kafka+redis+mysql

    Apache Kafka是一个高吞吐量的分布式消息队列,通常用于构建实时数据管道和流处理应用程序。在这个架构中,Kafka作为数据源,可以接收各种类型的数据,如日志、传感器数据等,然后将这些数据发布到主题(topics),...

    Getting Started with Storm

    **结论**:通过本章的学习,我们了解到 Storm 的基本架构和组件,以及如何构建一个简单的 Topology。 #### 第三章 Topologies **流分组**: - **Shuffle 分组**:随机将 tuple 发送到 bolt 的实例。 - **Fields ...

    apache-storm-2.0.0-src.tar.gz

    使用 Maven 或 Gradle 等构建工具,可以很容易地构建和测试 Storm 项目。 总结一下,Apache Storm 2.0.0 是一个强大的实时计算框架,其源代码包提供了丰富的功能和高度的可定制性。通过理解和使用这个压缩包,...

    apache-storm-2.1.0-src.tar.gz

    在构建Apache Storm时,可能需要按照官方文档的步骤配置编译环境,包括Java开发环境(JDK)、Maven、Git等,并执行编译和打包命令。编译完成后,可以通过本地模式或在分布式集群上部署和运行自定义的拓扑。 总的来...

    中国移动storm练习项目hbase代码

    他们还需要掌握版本控制工具如Git,项目构建工具如Maven,以及持续集成/持续部署(CI/CD)流程,以保证代码质量和项目迭代的顺利进行。 总结起来,"中国移动storm练习项目hbase代码"涵盖了实时数据处理和大数据存储...

Global site tag (gtag.js) - Google Analytics