`
wbj0110
  • 浏览: 1602578 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

Storm – 流计算

阅读更多

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz

tar -xzvf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

sudo apt-get install gcc

sudo apt-get install g++

sudo apt-get install libuuid-dev

./configure

sudo apt-get install make

make

sudo make install

 

sudo apt-get install git

git clone https://github.com/nathanmarz/jzmq.git

cd jzmq

sudo apt-get install pkg-config

./autogen.sh

./configure

touch src/classdist_noinst.stamp

cd src
javac -d . org/zeromq/*.java
cd ..

make

sudo make install

 

wget https://dl.dropboxusercontent.com/s/fl4kr7w0oc8ihdw/storm-0.8.2.zip

sudo apt-get install unzip

unzip storm-0.8.2.zip

cd storm-0.8.2

sudo vi /etc/profile

增加:

exportSTORM_HOME=/home/ysc/storm-0.8.2

exportPATH=$PATH:$STORM_HOME/bin

       source /etc/profile

vi conf/storm.yaml

增加:

storm.zookeeper.servers:

     - "host001"

       nimbus.host: "host001"

       storm.local.dir: "/home/ysc/storm"

supervisor.slots.ports:

    - 6700

    - 6701

    - 6702
    
-6703

       启动主节点

storm nimbus &

启动从节点

stormsupervisor &

启动WEB服务

       storm ui &

       访问:http://host001:8080

 

       git clone https://github.com/nathanmarz/storm-starter.git

       cd storm-starter

       sudo apt-get install maven2

       vi m2-pom.xml

       改变下面两个依赖的版本为3.0.3

                <dependency>

                       <groupId>org.twitter4j</groupId>

                       <artifactId>twitter4j-core</artifactId>

                       <version>3.0.3</version>

                </dependency>

                <dependency>

                       <groupId>org.twitter4j</groupId>

                       <artifactId>twitter4j-stream</artifactId>

                       <version>3.0.3</version>

                </dependency>

       mvn -f m2-pom.xml package

      

       cp m2-pom.xml pom.xml

       mvn eclipse:eclipse

       导入eclipse

       Java Build Path -> Add Variable… ->Configure Variables… -> New… -> Name: M2_REPO Path:maven存储库路径

      

       本地运行wordcount:

       storm jar target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jarstorm.starter.WordCountTopology

       集群运行wordcount:

       storm jartarget/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jarstorm.starter.WordCountTopology  wordcount

分享到:
评论

相关推荐

    基于Storm流计算天猫双十一作战室项目实战

    ### 基于Storm流计算天猫双十一作战室项目实战 #### 一、课程亮点与核心知识点 本课程针对Apache Storm这一强大的分布式实时计算系统进行了全方位的解析与实战演练。通过本课程的学习,不仅可以掌握Storm的基本...

    Storm流计算项目

    Storm流计算项目(文档中含有视频下载地址和解压密码),内容包含 storm、trident、kafka、hbase、cdh、hightcharts 等内容

    基于案例讲解Storm实时流计算.pptx

    基于案例讲解Storm实时流计算.pptx

    基于Storm流计算天猫双十一作战室项目实战.docx

    《基于Storm流计算天猫双十一作战室项目实战》的课程涵盖了多个关键技术和实战环节,旨在让学员深入了解并熟练应用Storm流计算框架,同时强化其在大数据处理领域的综合能力。以下是课程内容的详细阐述: 1. **Storm...

    基于Storm的分布式流计算集群详细配置

    【基于Storm的分布式流计算集群详细配置】 分布式流计算是一种实时数据处理技术,Apache Storm是其中的代表性框架,它能够处理大规模数据流并提供低延迟的处理能力。本配置指南将详细阐述如何在多台服务器上搭建一...

    4_流计算和图计算.pptx

    为了满足流数据处理的需求,出现了各种流计算框架,如Apache Storm、Spark Streaming、Google Cloud Dataflow和Apache Flink。这些框架提供了分布式、高吞吐、低延迟和容错的实时处理能力,允许开发者构建复杂的实时...

    Storm流计算之项目开发视频教程

    Storm视频教程通过含3个Storm完整项目,均为企业实际项目,其中一个是完全由Storm Trident开发。本课程每个技术均采用最新稳定版本,学完后可以从Kafka到Storm项目开发及HighCharts图表开发一个人搞定!涨工资?身价...

    Storm实战构建大数据实时计算

    Storm官方网站有段简介 ...Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,Storm可以实时处理数据。Storm简单,可以使用任何编程语言。

    storm分布式实时计算

    storm分布式实时计算,集成durid,zookeeper,hadoop等

    STORM流计算Topology性能监控

    STORM的TOPOLOGY在线上运行时,随着数据量的增加,在一定的服务器性能及集群规模下,会渐渐达到一个极限,到达极限后,服务器的load、io、cpu、mem等可能会出现耗尽,系统很卡,storm吞吐量骤降的情况。本文档中截图...

    storm流式计算(实时系统)

    **Storm流式计算详解** Storm是一个开源的分布式实时计算系统,由Twitter开发并贡献给了Apache基金会。它允许开发者持续处理无限的数据流,提供低延迟和高吞吐量的实时数据处理能力。在大数据领域,Storm被视为实时...

    Storm 实战:构建大数据实时计算完整版

    《Storm实战:构建大数据实时计算 》是一本系统并且具有实践指导意义的Storm工具书和参考书,对Storm整个技术体系进行了全面的讲解,不仅包括对基本概念、特性的介绍,也涵盖了一些原理说明。 实战性很强,各章节都...

    Storm流计算项目:1号店电商实时数据分析系统-08.storm-kafka 详解和实战案例.pptx

    《Storm流计算项目:1号店电商实时数据分析系统——storm-kafka详解与实战案例》 在大数据处理领域,实时计算已经成为不可或缺的一部分,特别是在电商行业中,实时数据分析能够帮助企业快速响应市场变化,提高运营...

    基于Storm的铁道供电监控信息实时流计算处理研究_铁道供电相关专业论文毕业设计范文.pdf

    【基于 Storm 的铁道供电监控信息实时流计算处理研究】 随着我国铁路运输系统的快速发展,铁道供电系统的稳定性和安全性显得尤为重要。为了实现高效监控和管理,实时流计算技术被引入来处理大量的铁道供电监控信息...

    Storm流计算项目:1号店电商实时数据分析系统-26.项目2-省份销售排行-双纵轴HighCharts图表开发一.pptx

    【Storm流计算项目:1号店电商实时数据分析系统】是一个以Storm为核心,专注于实时数据处理的实战项目。在这个项目中,我们重点学习如何利用Storm进行实时流计算,并结合HighCharts来构建可视化图表,以实现电商销售...

    Storm流计算项目实战 JStorm介绍文档 共43页.pptx

    ### JStorm流计算项目实战简介 #### 一、现状与背景 随着大数据技术的发展,实时数据处理成为企业和组织关注的重点之一。Apache Storm作为一款开源的分布式实时计算系统,在这一领域有着广泛的应用。然而,随着...

    中国数据库技术大会实时计算与流计算专场PPT资料.rar

    常见的流计算框架有Apache Kafka、Apache Storm和Google Dataflow。这些工具允许开发者构建能够处理无限数据流的应用,实现数据的即时分析和决策。 3. 数据库在实时计算与流计算中的角色: 数据库在实时计算中扮演...

    Storm入门教程 之Storm原理和概念详解

    Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景) Storm入门教程 之Storm原理和概念详解,出自Storm流计算从入门到精通之技术篇,Storm入门视频教程用到技术:Storm集群...

Global site tag (gtag.js) - Google Analytics