博客首页 → Storm

最新文章列表

一、基础概念

1.Storm的总体结构 Storm中设计的术语包括 Stream、Spout、Bolt、Worker、Executor、Task、Stream Grouping 、Topology，基本概念如下： Stream是被处理的数据 Spout是数据 ...
Storm 
mingyun 评论(0) 有366人浏览 2017-01-03 21:30

标题1

hello
java.netstormmysqlhibernate 
qingwengang1 评论(0) 有638人浏览 2017-01-01 14:08

标题1

hello
java.netstormmysqlhibernate 
qingwengang1 评论(0) 有536人浏览 2017-01-01 13:50

Chrome在302重定向的时候对原请求产生2次请求的问题说明

猿教程_-webapi教程-WebAPI教程 猿教程_-webapi教程-Web API概述 猿教程_-webapi教程-新建Web Api项目 猿教程_-webapi教程-测试Web API 猿教程_-webapi教程-Web API Controller 猿教程_-webapi教程-配置Web API 猿教程_-webapi教程-Web API路由 猿教程_
c.netjavaweb apistorm 
qingwengang1 评论(0) 有3050人浏览 2016-12-30 21:29

基于Cat的分布式调用追踪

猿教程_-webapi教程-WebAPI教程 猿教程_-webapi教程-Web API概述 猿教程_-webapi教程-新建Web Api项目 猿教程_-webapi教程-测试Web API 猿教程_-webapi教程-Web API Controller 猿教程_-webapi教程-配置Web API 猿教程_-webapi教程-Web API路由 猿教程_
webapijavac.netstorm 
qingwengang1 评论(0) 有2599人浏览 2016-12-30 21:21

storm kafka hdfs 详细

     package com.curiousby.baoyou.cn.storm; import java.util.UUID; import org.apache.storm.hdfs.bolt.HdfsBolt; import org.apache.storm.hdfs.bolt.format.DefaultFileNameFormat; import org. ...
stormkafkahadoophdfsredis 
knight_black_bob 评论(0) 有2248人浏览 2016-12-29 10:32

storm trident实战 filter,function的使用

一、Storm trident filter       filter通过返回true和false。来判断是否对信息过滤。      1.1 代码 public static void main(String[] args) throws InterruptedException, AlreadyAliveException, InvalidTopologyException, ...
stormtridentfilterfunction 
农村外出务工男JAVA 评论(0) 有1539人浏览 2016-12-26 10:17

storm trident实战 trident state

一、认识storm trident    trident可以理解为storm批处理的高级抽象,提供了分组、分区、聚合、函数等操作,提供一致性和恰好一次处理的语义。    1)元祖被作为batch处理    2)每个batch的元祖都被指定唯一的一个事物id,如果因为处理失败导致batch重发,也和保证和重发前一样的事物id    3)数据更新操作严格有序,比如batch1必须在batch2之前被 ...
stormtridentstatehbase 
农村外出务工男JAVA 评论(2) 有9716人浏览 2016-12-25 10:56

storm trident实战 分组聚合

一、前言       groupBy分组操作,根据指定属性进行分组，如果后面是aggregate()的话，先根据partitionBy分区，在每个partition上分组，分完组后，在每个分组上进行聚合。 二、实战    main： public static void main(String[] args) throws Exception { /** * 多设置几个 ...
stormtrident分组聚合 
农村外出务工男JAVA 评论(0) 有1734人浏览 2016-12-23 08:04

storm 如何编写可靠的spout和bolt

一、前言    对于不使用trident的人来说，使用基本的storm spout,bolt操作，需要理解storm的ack机制，保证消息的完整性，Storm 提供了三种不同层次的消息保证机制，分别是 At Most Once、At Least Once 以及 Exactly Once。消息保证机制依赖于消息是否被完全处理。    怎样才认为消息被完全处理?每个从 Spout发出的 Tupl ...
storm可靠的spoutboltack原理 
农村外出务工男JAVA 评论(0) 有2400人浏览 2016-12-23 08:02

storm trident实战 分区聚合

一、前言       先有batch，因为trident内部是基于batch来实现的，然后有partition,分区后再分配并发度，然后才能进行并发处理。并发度的分配是利用parallelismHint来实现。 二、实战    main方法 public static void main(String[] args) throws AlreadyAliveException, I ...
stormtrident分区聚合 
农村外出务工男JAVA 评论(0) 有3079人浏览 2016-12-22 18:43

Storm demo

public class SentenceSpout extends BaseRichSpout{            private static final long serialVersionUID = 1L;        /**      * This output collector exposes the API for emitting tuples from an {@ ...
Storm 
h_1_y_m 评论(0) 有439人浏览 2016-12-19 15:50

kafka-storm 详细

          kafka storm 安装： http://knight-black-bob.iteye.com/blog/2343192   15.安装kafka cd /usr/local/ wget http://mirror.bit.edu.cn/apache/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgz tar xf kafka ...
stormkafka 
knight_black_bob 评论(0) 有1372人浏览 2016-12-19 15:33

java,mysql,hadoop,cdh,hive,spark,ntp,zookeeper,kafka,storm,redis,flume,git 安装详解

    顶部 ---------------------------------------------------------------------------------------------------------------------------------- 0.关闭防火墙 1.修改hosts 2.检查每台机器的 hostname 3.安装jdk 4.网络、h ...
stormhadoopzookeeperhivespark 
knight_black_bob 评论(0) 有4213人浏览 2016-12-06 17:15

实时收集Storm日志到ELK集群

#### 背景 我们的storm实时流计算项目已经上线几个月了，由于各种原因迟迟没有进行监控，每次出现问题都要登录好几台机器，然后使用sed，shell，awk，vi等各种命令来查询原因，效率非常低下，而且有些统计是没法做的，所以很有必要对storm本身相关的日志以及我们运行在storm上面的任务的日志做一个统一的日志收集，分析，查询，统计平台。 #### 技术选型 对于这个选择，其实 ...
elkstorm 
qindongliang1922 评论(2) 有1698人浏览 2016-11-22 19:02

Storm 工作原理

Storm 工作原理 Storm简介 1.Storm是一套分布式的、可靠的，可容错的用于处理流式数据的系统。 2.Storm也是基于C/S架构来进行工作的,C负责将数据处理的方 ...
Storm 
huangyongxing310 评论(0) 有2388人浏览 2016-10-13 17:45

Storm环境搭建和基本入门

    要学习storm，我们可以先从并发编程网(ifeve.com)的storm入门开始：http://ifeve.com/getting-started-with-stom-index/   Storm集群安装部署   http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install ...
storm 
brandNewUser 评论(0) 有1414人浏览 2016-09-24 13:27

Storm的wordcount实战示例

有关strom的具体介绍，本文不再过多叙述，不了解的朋友可参考之前的文章 http://qindongliang.iteye.com/category/361820 本文主要以一个简单的wordcount例子，来了解下storm应用程序的开发，虽然只是一个简单的例子 但麻雀虽小，五脏俱全，主要涉及的内容： （1）wordcount的拓扑定义 （2）spout的使用 （3）bolt的使用 （4）ti ...
stormwordcount 
qindongliang1922 评论(0) 有2809人浏览 2016-09-18 17:33

storm 入门原理介绍(转载)

1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的 ...
Storm 
wb284551926 评论(0) 有517人浏览 2016-08-29 14:17

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics