博客首页 → Storm

最新文章列表

Example Storm Topologies

  Learn to use Storm! Table of Contents Getting started Using storm-starter with Leiningen Using storm-starter with Maven
Example Storm TopologiesStorm 
wbj0110 评论(0) 有596人浏览 2014-04-15 09:37

storm started

Tutorial In this tutorial, you'll learn how to create Storm topologies and deploy them to a Storm cluster. Java will be the main language used, but a few examples will use Python to illu ...
storm startedStorm 
wbj0110 评论(0) 有900人浏览 2014-04-15 09:36

Creating a new Storm project

Creating a new Storm project This page outlines how to set up a Storm project for development. The steps are: Add Storm jars to classpath If using multilang, add multilang dir to clas ...
Creating a new Storm projectStorm 
wbj0110 评论(0) 有722人浏览 2014-04-14 09:30

Setting up development environment

Setting up development environment This page outlines what you need to do to get a Storm development environment set up. In summary, the steps are: Download a Storm release , unpack it ...
Setting up development environmentStorm 
wbj0110 评论(0) 有851人浏览 2014-04-14 09:29

Running topologies on a production cluster

Running topologies on a production cluster is similar to running in Local mode. Here are the steps: 1) Define the topology (Use TopologyBuilder if defining using Java) 2) Use StormSubmitter to subm ...
Running topologies on a production clusterStorm 
wbj0110 评论(0) 有718人浏览 2014-03-20 09:50

Distributed RPC

Distributed RPC The idea behind distributed RPC (DRPC) is to parallelize the computation of really intense functions on the fly using Storm. The Storm topology takes in as input a stream ...
Distributed RPCStorm 
wbj0110 评论(0) 有801人浏览 2013-12-23 12:34

Storm Local mode

Local mode Local mode simulates a Storm cluster in process and is useful for developing and testing topologies. Running topologies in local mode is similar to running topologies on a clu ...
Storm Local modeStorm 
wbj0110 评论(0) 有754人浏览 2013-11-29 09:20

Twitter Storm源代码分析之TimeCacheMap

TimeCacheMap是Twitter Storm里面一个类， Storm使用它来保存那些最近活跃的对象，并且可以自动删除那些已经过期的对象。这个类设计的很巧妙， 我们来看一下。 TimeCacheMap里面的数据是保存在内部变量_bucket里面的:
Twitter Storm源代码分析之TimeCacheMapStorm 
wbj0110 评论(0) 有1220人浏览 2013-11-20 09:32

Common patterns

This page lists a variety of common patterns in Storm topologies. Streaming joins Batching BasicBolt In-memory caching + fields grouping combo Streaming top N TimeCacheMap for efficiently keep ...
Twitter Storm: storm的一些常见模式StormCommon patterns 
wbj0110 评论(0) 有832人浏览 2013-11-18 08:33

eclipse中storm实战入门

功能描述：实时随机输出一字符串。 在开发前记得导入storm需要的jar包。1、SimpleSpout类继承BaseRichSpout类，用来产生数据并且向topology里面发出消息：tuple。 package com.ljq.helloword; import java.util.Map; import java.util.Random; import bac ...
eclipse中storm实战入门Storm 
wbj0110 评论(0) 有1596人浏览 2013-11-14 09:51

Maven构建storm

Maven To develop topologies, you'll need the Storm jars on your classpath. You should either include the unpacked jars in the classpath for your project or use Maven to include Storm as ...
Maven构建stormStorm 
wbj0110 评论(0) 有1259人浏览 2013-11-07 09:30

用jvisualvm监控远程java程序

jvisualvm是一个JDK自带的java性能监控程序。对于本地监控，直接启动jvisualvm， 在它面板里面就可以看到所有在运行的java程序。但是如果要监控在别的机器上运行的java程序，那么运行的时候要多加几个参数(假设我们的类名字叫Hello)：
用jvisualvm监控远程java程序Storm 
wbj0110 评论(0) 有1008人浏览 2013-10-25 09:16

storm任务示例

 LogProcess.java package mytest;   import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File;
storm任务示例Storm 
wbj0110 评论(0) 有798人浏览 2013-10-14 08:18

storm & drcp

1.Storm 在taobao的使用情况： We make statistics of logs and extract useful information from thestatistics in almost real-time with Storm. Logs are read from Kafka-likepersistent message queue ...
storm & drcpStormdrcp 
wbj0110 评论(0) 有1197人浏览 2013-10-14 08:18

Easy, Real-Time Big Data Analysis Using Storm

  Conceptually straightforward and easy to work with, Storm makes handling big data analysis a breeze. Today, companies regularly generate terabytes of data in their daily operations. The sources ...
EasyReal-Time Big Data Analysis Using Stormstorm 
wbj0110 评论(0) 有1662人浏览 2013-10-12 09:15

storm & metaq 实例

目录 Storm项目：流数据监控 <4>. 1 ---流数据监控MetaQ接口... 1 1 文档说明... 1 2 MetaQ与Storm接口... 1 2.1 MetaqSpout. 1 2.1.1 接口说明... 1 2.1.2 上代码... 2 2.2 MetaqBolt. 5
storm & metaqMetaQStorm 
wbj0110 评论(0) 有1181人浏览 2013-10-12 09:14

Storm实时处理方案架构

1 文档说明   该文档描述的是以storm为主体的实时处理架构，该架构包括了数据收集部分，实时处理部分，及数据落地部分。 关于不同部分的技术选型与业务需求及个人对相关技术的熟悉度有关，会一一进行分析。 该架构是本人所掌握的一种架构，可能会与其他架构有相似的部分，个人会一一解释对其的理解。   2 实时处理架构  
Storm实时处理方案架构StormMetaQ 
wbj0110 评论(0) 有2735人浏览 2013-10-12 09:13

Storm入门教程：安装部署

  本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形 ...
Storm入门教程：安装部署Storm 
wbj0110 评论(0) 有918人浏览 2013-10-10 09:09

Storm的介绍与安装（简单）

Storm的集群跟hadoop的集群非常像。但是在Hadoop上面你运行的是MapReduce的Job, 而在Storm上面你运行的是Topology。 在Storm的集群里面有两种节点： 控制节点(master node)和工作节点(worker node)。控制节点上面运行一个后台程序： Nimbus， 它的作用类似Hadoop里面的JobTracker。Nimbus负责在集群里面分布代码 ...
Storm的介绍与安装（简单）Storm 
wbj0110 评论(0) 有995人浏览 2013-10-10 09:09

Storm入门教程 第五章 一致性事务

第五章 一致性事务 Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错 ...
Storm入门教程 第五章 一致性事务Storm 
wbj0110 评论(0) 有600人浏览 2013-10-04 12:06

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics