博客首页 → Storm

最新文章列表

Storm Trident 项目

事务：运用IPartitionedTridentSpout DRPC：Web端通过DRPC获得结果数据 topN：按销售额排行 基于Hbase存储的Trident state：支持Topo重启时不丢数据，也可支撑Web端读数据 数据获得实现 通过开源Storm-kafka项目提供 采用Storm-kafka 项目中提供的TransactionalTridentKafkaSp ...
Storm 
houston123 评论(0) 有1139人浏览 2016-08-16 11:52

Leek——韭菜的自我救赎

Leek——韭菜的自我救赎 Leek是一款基于分布式的简易版智能实时选股系统，计算能力超强，代码量极少。 相关项目：项目地址：Leek——简易版实时智能选股平台 目前实现了3种简单的策略（欢迎大家pull request更多策略）： 策略1：大单卖，选出股票的卖5档总手数大于买5档口总手数100倍时的股票；策略2：大单买，选出股票的买5档总手数大于卖5档口总手数100倍时的股票；策 ...
StormEsperKafkaFlume大数据 
wosyingjun 评论(0) 有3110人浏览 2016-08-15 09:01

Storm组件介绍

（1）Topologies 拓扑 解释： 拓扑类似一个集装箱，所有的货物都会存储在集装箱里面最后被托运走，storm里面所有的代码和文件最终会被打包在一个拓扑 ...
storm 
qindongliang1922 评论(0) 有1085人浏览 2016-08-12 20:28

JStorm2.1.1集群的安装和使用

JStorm2.1.1集群的安装和使用 Storm是一个免费开源、分布式、高容错的实时计算系统，而JStorm是阿里巴巴开源的基于Storm采用Java重写的一套分布式实时流计算框架，在性能和支持的集群规模上做了较大优化。 官方地址：https://github.com/alibaba/jstorm相关文章：Storm深入理解相关项目：Leek——简易版实时智能选股平台 JStor ...
stormjstorm大数据 
wosyingjun 评论(0) 有9128人浏览 2016-08-12 09:39

Storm深入理解

Storm深入理解 Storm是一个免费开源、分布式、高容错的实时计算系统。 相关示例项目：Leek——简易版实时智能选股平台 一、Storm集群架构 Nimbus ：Storm集群的Master节点，负责分发用户代码，指派给具体的Supervisor节点上的Worker节点，去运行Topology对应的组件（Spout/Bolt）的Task。 Supervis ...
storm大数据 
wosyingjun 评论(0) 有9574人浏览 2016-08-11 08:36

Storm-0.10.0集群安装(转载)

一、环境 两台虚拟机，ubuntu-14.04.3 二、关闭防火墙，配置hosts   [plain] view plain copy    
storm 
wb284551926 评论(0) 有378人浏览 2016-07-20 10:52

理解Storm Metrics

在hadoop中，存在对应的counter计数器用于记录hadoop map/reduce job任务执行过程中自定义的一些计数器，其中hadoop任务中已经内置了一些计数器，例如CPU时间，GC时间等。   Storm中也存在类似counter的功能，metrics，详细介绍可以参考下面的文档：   http://storm.apache.org/releases/1.0.1/Metr ...
stormmetrics 
brandNewUser 评论(0) 有4266人浏览 2016-07-15 15:15

Storm存储结果至Redis

  原有的事务支持使用MemcachedState来进行，现在需要将其迁移至Redis，并且需要记录所有key值列表，因为在redis中虽然可以使用keys *操作，但不是被推荐的方式，所以把所有结果存在Redis中的一个HASH格式字段中。   关于Redis与Storm集成的相关文档，可以参考：   http://storm.apache.org/releases/2.0.0-SN ...
stormredis 
brandNewUser 评论(0) 有5617人浏览 2016-07-14 08:41

Storm集成Kafka的Trident实现

  原本打算将storm直接与flume直连，发现相应组件支持比较弱，topology任务对应的supervisor也不一定在哪个节点上，只能采用统一的分布式消息服务Kafka。   原本打算将结构设置为：   最后结构更改为：      集成Kafka   storm中已经写好了KafkaSpout用来接收Kafka中间件上的消息，并发射到Bolt中，只需要依赖 sto ...
stormtrident 
brandNewUser 评论(0) 有6591人浏览 2016-07-08 08:48

flume系统使用以及与storm的初步整合

  Flume NG的简单使用可以参考介绍文档：http://blog.csdn.net/pelick/article/details/18193527，图片也来源此blog：       下载完flume后，就可以在 https://flume.apache.org/FlumeUserGuide.html 中根据教程来启动agent console   ...
flumestormflume-storm-connector 
brandNewUser 评论(0) 有4334人浏览 2016-06-27 18:48

Storm在推荐系统中的应用

这篇文章也是我写的。懒得重新编辑了。   http://blog.csdn.net/ytbigdata/article/details/49074763
storm 
aeolus1983 评论(0) 有560人浏览 2016-06-27 18:36

搞爆storm集群的bug追踪过程

前两天，突然收到了QA的反馈，我跑程序的storm集群（20多台）所有机器CPU居高不下。这就让我非常莫名其妙了，我的程序在最近一次上线以后，已经连续运行了3天了，怎么会突然就有问题了呢？   这时，我还是感觉程序不会有问题的，要不然怎么会正常运行了3天呢。。。因此我就对程序进行rebalance（为什么要这么做呢？我也不知道，就好像电脑有问题了重启就行了。。。）以及重启操作，但是都无济于事 ...
stormCPU打满bug排查思路 
商人shang 评论(1) 有3666人浏览 2016-05-30 21:48

Storm实战 (2) storm中ZMQ和netty作用

storm中ZMQ和netty作用     在storm集群安装中，我选择的是版本storm1.0.0，官网关于storm1.0.0需要的依赖库说的是要jdk1.6+和Python2.6.6，但在浏览博客时无意间 ...
stormZMQnettyzeromq 
zilongzilong 评论(1) 有3958人浏览 2016-05-02 19:27

Storm实战 (1) storm1.0.0集群安装

storm1.0.0集群安装 1.storm集群组成     storm集群类似于Hadoop(1.x)集群，在Hadoop(1.x)集群中任务叫"MapReduce jobs"而在storm集群中任务叫"topologies&q ...
storm集群1.0.0 
zilongzilong 评论(0) 有8887人浏览 2016-05-02 18:15

Storm【配置项】 - 详细解释

  配置项配置说明 storm.zookeeper.serversZooKeeper服务器列表 storm.zookeeper.portZooKeeper连接端口 storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写) storm.cluster.modeStorm集群运行模式([distributed|local]) storm.local ...
Storm 
liyonghui160com 评论(0) 有1016人浏览 2016-04-28 14:11

Storm核心组件运行机制

      1. storm集群启动后，nimbus进程、supervisor进程，分别向zookeeper进行注册 nimbus做为服务方，往zookeeper对应目录写job配置信息文件 supervisor做为客户端，监控zookeeper对应的目录   2. 通过strom client客户端提交job到nimbus，其中包括： 指定spout、bolt实现类，以及并 ...
storm运行机制storm实时分析大数据实时分析大数据storm 
hpitcn 评论(2) 有1124人浏览 2016-03-27 00:48

Storm安装指南--亲测版

  1. 基本配置（与Hadoop共通）   1.1 安装JDK   安装JDK6或以上版本，配置JAVA_HOME 、CLASSPATH环境变量。具体过程略。       1.2.    安装python   先确定系统自带的Python版本，如果是2.6.6或者以上的不需要安装       1.3.   配置hosts  
pythonjavastorm 
toking79 评论(0) 有1341人浏览 2016-03-04 14:54

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics