博客首页 → Storm

最新文章列表

本地模式运行storm的demo

本例实现的是本地模式运行storm的wordcount demo！ 开发过程中，可以用本地模式来运行Storm，这样就能在本地开发，在进程中测试Topology。一切就绪后，以远程模式运行 Storm，提交用于在集群中运行的Topology。 创建工程：demo-storm目录结构如下：demo-storm——src/main/java————com.youku.demo————————bo ...
本地模式运行storm的demoStorm 
wbj0110 评论(0) 有1038人浏览 2014-04-20 12:02

Storm-源码分析-Topology Submit-Client

1 Storm Client 最开始使用storm命令来启动topology, 如下 storm jar storm-starter-0.0.1-SNAPSHOT-standalone.jar storm.starter.WordCountTopology 这个storm命令是用python实现的, 看看其中的jar函数, 很简单, 调用exec_storm_class, 其中jv ...
Storm-源码分析-Topology Submit-ClientStorm 
wbj0110 评论(0) 有1022人浏览 2014-04-01 09:04

backtype.storm.Config

http://nathanmarz.github.io/storm/doc/backtype/storm/Config.html#TOPOLOGY_MESSAGE_TIMEOUT_SECS
backtype.storm.ConfigStorm 
wbj0110 评论(0) 有986人浏览 2014-03-31 08:56

storm教程

基础 Storm的组件 Storm的属性
storm教程taobaoStorm 
wbj0110 评论(0) 有1541人浏览 2014-03-20 09:50

Storm源码浅析之topology的提交

一、介绍    Storm的开发语言主要是Java和Clojure，其中Java定义骨架，而Clojure编写核心逻辑。源码统计结果：      180 text files.     177 unique files.                                                 7 files ignored.http://cloc.sourceforg ...
Storm源码浅析之topology的提交Storm 
wbj0110 评论(0) 有859人浏览 2014-03-13 21:54

Storm – 流计算

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzvf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 sudo apt-get install gcc sudo apt-get install g++ sudo apt-get install libuuid-dev ./configure ...
StormStorm – 流计算 
wbj0110 评论(0) 有735人浏览 2014-03-10 09:30

HBase入门篇（转）

1-HBase的安装 HBase是什么？ HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这 ...
HadoopHbaseHiveStormMapReduce 
wbj0110 评论(0) 有1100人浏览 2014-02-07 09:37

Hbase quick start

1.2. Quick Start This guide describes setup of a standalone HBase instance. It will run against the local filesystem. In later sections we will take you through how to run HBase on HDFS, a distribut ...
HadoopHbaseHiveStormMapReduce 
wbj0110 评论(0) 有740人浏览 2014-01-26 11:12

Making Storm fly with Netty

原文：http://yahooeng.tumblr.com/post/64758709722/making-storm-fly-with-netty Yahoo recently submitted work to Storm that allows the messaging layer to be pluggable and provides an implementation based ...
stormapachenettyjava 
yuexiaodong 评论(0) 有1285人浏览 2013-12-24 16:55

Storm各种异常（持续贴）

在本地集群模式运行Storm-started中的例子时，总是出warn级别的异常 java.net.SocketException: Address family not supported by protocol family: connect at sun.nio.ch.Net.connect(Native Method) at sun.nio.ch.Sock ...
storm异常 
yuexiaodong 评论(0) 有893人浏览 2013-12-24 14:52

Zynga研发之道探秘：用数据说话

原文网址：http://www.csdn.net/article/2011-08-26/303631 摘要：在市场层面上，可以说Zynga已经取得了成功，对大多数人而言，Zynga仍旧是一团迷雾。每个技术公 ...
Zyngastorm 
yuexiaodong 评论(0) 有707人浏览 2013-12-23 16:18

运行MapReduce作业做集成测试

准备工作 以windows环境为例：  安装jdk，设置环境变量JAVA_HOME为jdk安装目录  安装Cygwin，安装时注意选择安装软件包openssh - Net 类，安装完成将cygwin/bin加入环境变量path。  确认ssh。打开cygwin命令行，分别执行以下命令   安装sshd:$ ssh-host-config   启动sshd服务：$ net st ...
HadoopHbaseHiveStormMapReduce 
wbj0110 评论(0) 有1027人浏览 2013-12-17 09:46

GitHub项目Storm-HBase介绍

Storm-HBase，该项目是Twitter Storm和Apache HBase的结合，它使用HBase cluster作为Storm的Spout数据源，目前只是初步实现，后续会进一步完善。HBaseSpout根据时间戳范围[start_timestamp, stop_timestamp]，持续不间断地从HBase cluster读取流数据： 如果start_timestamp = 0 ...
GitHub项目Storm-HBase介绍HadoopHbaseHiveStorm 
wbj0110 评论(0) 有1078人浏览 2013-12-06 10:17

hadoop,storm,NOSQL学习资源

转载自：http://www.cnblogs.com/dracula/archive/2013/03/09/2951617.html http://www.cnblogs.com/dracula/archive/2013/03/09/2951617.html http://blog.chinaunix.net/uid/790245/list/1.html http://xumingming.s ...
storm 
ljz0898 评论(0) 有1508人浏览 2013-11-19 15:17

strom之nimbus

Storm Storm的主线主要包括4条：nimbus, supervisor, worker和task。 Nimbus 要了解nimbus的具体做的操作，可以从提交一个topology的流程开始。 1.1  Prepare Nimbus启动时候，运行了一个Thrift Server。它会在topology提交之前做以下四个工作。       (1)  清理一些中断了的topolog ...
stormnimbus 
zhou85xin 评论(0) 有14388人浏览 2013-10-30 19:28

Install Storm on CentOS

Centos 安装Storm 脚本 保存于此,备忘.   什么是Storm?     Storm is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of data, doing for re ...
Install Storm on CentOStaobaoStorm 
wbj0110 评论(0) 有1012人浏览 2013-10-23 10:14

storm调研

经过对storm的初步了解，storm 主要运用于实时计算，并且可以自定义数据流的逻辑拓扑结构。下面是一些说明。storm是否符合您的应用场景？如果还有其他需求，也请提出来。   在使用方式上简单的与hadoop比较： hadoop数据源一般是离线的、静态的   storm数据源一般是实时的，可与kafka结合 hadoop数据处理完成，自动结束任务   需要手动关闭处理 hadoop ...
storm实时流计算 
lt200819 评论(0) 有1352人浏览 2013-10-15 15:36

Twitter Storm安装配置（单机版）

storm的官方安装说明（e文）：https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster storm的安装分为单机版和集群版，只是配置稍微有点区别，大致一样。 要使用storm首先要安装以下工具： python、zookeeper、zeromq、jzmq、storm 第一步，安装Python2.7.2 wget ht ...
Twitter Storm安装配置（单机版）Storm 
wbj0110 评论(0) 有2240人浏览 2013-10-14 08:18

Storm 本地模式运行WordCountTopology

 下载Storm，地址为https://github.com/nathanmarz/storm，Storm用于将JAR包和Topology的主类提交给nimbus。本地模式我们只需记住一个命令：storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies storm.starter.WordCountTopology    下载stro ...
Storm 本地模式运行WordCountTopologyStorm 
wbj0110 评论(0) 有2316人浏览 2013-10-13 13:05

Storm集群安装配置过程

首先：安装依赖包 1，  ZeroMQ 2.1.7 2，  JZMQ 3，  Java 4，  Python 5，  Unzip 这里只需要安装1,2就可以了。下面是遇到的一些问题： 安装zeroMQ 下载zeroMQ2.1.7  http://www.zeromq.org/area:download 解压：tar –xvf zeromq-2.1.7.tar.gz Cd ...
Storm集群安装配置过程Storm 
wbj0110 评论(0) 有784人浏览 2013-10-13 13:04

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics