博客首页 → Storm

最新文章列表

Storm中的基本概念

Storm中的一些基本概念 Storm：分布式、高容错的实时计算系统。 Topology:拓扑，相当于hadoop中的job，但没有严格的指定开始时间与结束时间。 Spout：Topology中的输入数据流，连接数据源，将各类数据源转换成tuple结构的数据，并序列化，向Bolt输出转化后的数据流。 Bolt：接收Spout的数据流并计算，记录计算结果，并向下一个已订阅的bolt发射结果。 Tup ...
Storm分布式实时计算 
yuanman2002 评论(0) 有545人浏览 2015-07-02 09:58

在storm集群环境下发布Topology

storm的topology设计和开发就略过了。本章主要来说说如何在storm的集群环境中，通过storm的管理命令来发布和管理集群中的topology。   1、打包 打包插件是使用maven提供的maven-shade-plugin，详细见maven-shade-plugin。 <plugin> <groupId>org.apache.maven.plug ...
集群stormtopologyspoutbolt 
roadrunners 评论(0) 有5176人浏览 2015-07-01 16:42

storm事务

转：http://blog.csdn.net/yangbutao/article/details/17844799   1、storm事务性topology的提出 对于容错机制，Storm通过一个系统级别的组件acker，结合xor校验机制判断一个msg是否发送成功，进而spout可以重发该msg，保证一个msg在出错的情况下至少被重发一次。但是在一些事务性要求比较高的场景中，需要保障一次 ...
storm事务 
blackproof 评论(0) 有2500人浏览 2015-06-23 17:30

storm drpc

转 http://www.cnblogs.com/panfeng412/archive/2012/07/02/storm-common-patterns-of-distributed-rpc.html   本文翻译自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC，作为学习Storm DRPC的资料，转载必须以超链接形式标明文 ...
stormdrpc 
blackproof 评论(1) 有1613人浏览 2015-06-23 16:07

storm trident api

Trident API     partition本地操作，无需网络io 等同于pig的generate mystream.each(new Fields("b"), new MyFunction(), new Fields("d")))   public class MyFunction extends BaseFunction {     ...
stormtridentapi 
blackproof 评论(0) 有1702人浏览 2015-06-23 16:02

Zookeeper可以干什么，能带来什么

在Zookeeper的官网上有这么一句话：ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services.  这大概描述了Zookeeper主要可以干哪 ...
zookeeperstormkafka 
hui_jing_880210 评论(0) 有1030人浏览 2015-06-17 09:09

storm supervisor 异常关机后 不能启动Error when processing event

    2015-06-06 02:32:42 event [ERROR] Error when processing event java.lang.RuntimeException: java.io.EOFException at backtype.storm.utils.Utils.deserialize(Utils.java:68) at bac ...
实时处理stormsupervisor 
susenshine 评论(1) 有1792人浏览 2015-06-06 18:19

Storm0.9.4的集群部署

Twitter开源的Storm是一个分布式的、可靠的、容错的实时计算系统。Storm的其它概念和功能特点此处就不再赘述，这里主要讲Storm如何在集群中正确配置安装。在我之前听说Storm的时候，Storm的网络传输还是通过ZeroMQ来实现的，当前版本已经支持Netty Transport传输了，而且据说后者的性能要比前者高一倍，我们果断选择后者。好了言归正传，下面进入部署环节。   1、 ...
Storm集群部署Twitter 
roadrunners 评论(0) 有2190人浏览 2015-05-28 16:12

从批处理到流式计算的罪与罚 ——storm实践总结

近期是对storm做了不少的研究与分享，包括我的前一篇文章的《数据处理神器storm的理解与思考 ——让你的数据化作行云流水》，无论是看官方的文档，还是看其他第三方文献介绍推荐，总会让你觉得各种高端先进，毕竟它代表了一种比较新潮的设计思想，刚开始接触了解的人更会跃跃欲试。然而storm是否真如看上去那么美？还是说，storm只是另一个喜好新鲜事物的开发者把玩的玩物？这些都需要亲自尝试过才会得知。 ...
storm 
quentinXXZ 评论(0) 有3249人浏览 2015-04-27 23:40

Storm中文官方文档翻译计划(2) ——消息处理保证

Storm中文官方文档翻译计划(2) ——消息处理保证通     Strom保证来自spout的每一个消息都会被完全处理。本文描述Storm是如何做到这个保证的，以及作为用户需要干些什么从而受益于Storm的可靠性能力。     啥玩意(What does it mean for a message to be "fully processed")     来自于spout的 ...
storm大数据腾讯实时计算Hadoop 
powersoft 评论(0) 有1991人浏览 2015-04-08 11:42

数据处理神器storm的理解与思考 ——让你的数据化作行云流水

大数据之殇 要问storm是什么?简单答复就是：storm对于实时计算的相当于hadoop对于批处理。两者代表的对大数据处理的两种不同方式与态度，即hadoop代表 ...
stormclojure 
quentinXXZ 评论(0) 有3779人浏览 2015-04-05 22:28

Storm中文官方文档翻译计划(1) ——从入门到精通

Storm中文官方文档翻译计划(1) ——从入门到精通     Storm是一个分布式实时计算系统。就像Hadoop提供一组通用原语来进行批量处理(batch processing)一样，Storm也提供了一组通用原语来进行实时计算(realtime computation)。Storm非常简单，能用于任意编程语言，被很多大的公司采用，并且使用过程中乐趣多多。     本教程中，你会学习如何创建S ...
storm大数据腾讯实时计算Hadoop 
powersoft 评论(0) 有4089人浏览 2015-04-01 22:31

整合Kafka到Spark Streaming——代码示例和挑战

作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版 ...
sparkstormprocessingzookeeperparallelism 
Stark_Summer 评论(0) 有4469人浏览 2015-03-03 15:01

基于Storm的Nginx log实时监控系统

背景 UAE(UC App Engine)是一个UC内部的PaaS平台，总体架构有点类似CloudFoundry，包括： 快速部署：支持Node.js、Play!、PHP等框架 信息透明：运维过程、系统状 ...
hadoop框架算法Storm 
abc123456789cba 评论(0) 有877人浏览 2015-01-25 21:53

大数据” Hadoop，Spark和Storm

大数据（Big Data） 大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大 ...
HadoopSparkStorm 
abc123456789cba 评论(0) 有732人浏览 2015-01-14 23:27

Apache Storm 集群环境搭建

Apache storm 是一个由twitter开源的大数据处理系统，与其他系统不同的是，storm旨在用于分布式实时处理并且与语言无关。笔者所认知的storm使用场景诸如 ...
stormapache集群大数据实时流处理 
BigCat2013 评论(0) 有1365人浏览 2015-01-13 18:24

Storm安装

    因为本人在用hbase，所以zk不用在安装，安装步骤如下   依赖包： 安装zeromq wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 ./configure make sudo make install   conf ...
storm安装 
blackproof 评论(0) 有1337人浏览 2015-01-13 16:29

storm org.apache.thrift7.transport.TTransportException:java 解决

    关于storm 搭建的文章很多了，这里就不写了。     搭建好storm后运行第一个例子，发现报错了，错误如下：     Exception in thread "main" java.lang.RuntimeException: org.apache.thrift7.transport.TTransportException: java.net.ConnectExce ...
storm 
shouwangv6 评论(0) 有9313人浏览 2015-01-06 15:45

最近博客热门TAG

Java(141741) C(73643) C++(68602) SQL(64557) C#(59604) XML(59131) HTML(59042) JavaScript(54916) .net(54782) Web(54511) 工作(54116) Linux(50906) Oracle(49861) 应用服务器(43285) Spring(40811) 编程(39452) Windows(39380) JSP(37540) MySQL(37266) 数据结构(36420)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics