- 浏览: 56406 次
- 性别:
- 来自: 北京
文章分类
最新评论
1、普通事务Spout
2、事务Spout创建一个新的事务(元数据)metadata
2、1元数据定义
2、2 获得(元数据)metadata,逐个发射实际batch的tuple
------------------------spout与上篇相同-----------------------------------------
3、按天统计数据事务Bolt,会从Emitter接收数据处理,处理完成,提交给finishBatch方法处理。
4、接收统计数据,累加汇总MyDailyCommitterBolt,batch之间强制按照顺序进行提交
5、topo类
6、测试结果
/** * 普通事务Spout */ public class MyTxSpout implements ITransactionalSpout<MyMata>{ private static final long serialVersionUID = 1L; /** * 数据源 */ Map<Long, String> dbMap = null; public MyTxSpout() { Random random = new Random(); dbMap = new HashMap<Long, String> (); String[] hosts = { "www.taobao.com" }; String[] session_id = { "ABYH6Y4V4SCVXTG6DPB4VH9U123", "XXYH6YCGFJYERTT834R52FDXV9U34", "BBYH61456FGHHJ7JL89RG5VV9UYU7", "CYYH6Y2345GHI899OFG4V9U567", "VVVYH6Y4V4SFXZ56JIPDPB4V678" }; String[] time = { "2014-01-07 08:40:50", "2014-01-07 08:40:51", "2014-01-07 08:40:52", "2014-01-07 08:40:53", "2014-01-07 09:40:49", "2014-01-07 10:40:49", "2014-01-07 11:40:49", "2014-01-07 12:40:49" }; for (long i = 0; i < 100; i++) { dbMap.put(i,hosts[0]+"\t"+session_id[random.nextInt(5)]+"\t"+time[random.nextInt(8)]); } } public void declareOutputFields(OutputFieldsDeclarer declarer) { declarer.declare(new Fields("tx","log")); } public Map<String, Object> getComponentConfiguration() { return null; } public org.apache.storm.transactional.ITransactionalSpout.Coordinator<MyMata> getCoordinator(Map conf, TopologyContext context) { /** * 发射该metadata(事务tuple)到“batch emit”流 */ return new MyCoordinator(); } public org.apache.storm.transactional.ITransactionalSpout.Emitter<MyMata> getEmitter(Map conf, TopologyContext context) { /** * 逐个发射实际batch的tuple */ return new MyEmitter(dbMap); } }
2、事务Spout创建一个新的事务(元数据)metadata
2、1元数据定义
public class MyMata implements Serializable{ /** * metadata(元数据)中包含当前事务可以从哪个point进行重放数据,存放在zookeeper中的,spout可以通过Kryo从zookeeper中序列化和反序列化该元数据。 */ private static final long serialVersionUID = 1L; private long beginPoint ;//事务开始位置 private int num ;//batch 的tuple个数 @Override public String toString() { return getBeginPoint()+"----"+getNum(); } public long getBeginPoint() { return beginPoint; } public void setBeginPoint(long beginPoint) { this.beginPoint = beginPoint; } public int getNum() { return num; } public void setNum(int num) { this.num = num; } }
2、2 获得(元数据)metadata,逐个发射实际batch的tuple
public class MyEmitter implements ITransactionalSpout.Emitter<MyMata> { Map<Long, String> dbMap = null; public MyEmitter(Map<Long, String> dbMap) { this.dbMap = dbMap; } //逐个发射实际batch的tuple public void emitBatch(TransactionAttempt tx, MyMata coordinatorMeta, BatchOutputCollector collector) { long beginPoint = coordinatorMeta.getBeginPoint();// 从上一个批次获得开始位置 int num = coordinatorMeta.getNum();// 从批次中获取批次数量 for (long i = beginPoint; i < num + beginPoint; i++) { if (dbMap.get(i) == null) { continue; } collector.emit(new Values(tx, dbMap.get(i))); } } public void cleanupBefore(BigInteger txid) { } public void close() { } }
------------------------spout与上篇相同-----------------------------------------
3、按天统计数据事务Bolt,会从Emitter接收数据处理,处理完成,提交给finishBatch方法处理。
public class MyDailyBatchBolt implements IBatchBolt<TransactionAttempt> { /** * 按天统计数据 */ private static final long serialVersionUID = 1L; Map<String, Integer> countMap = new HashMap<String, Integer>(); BatchOutputCollector collector ; Integer count = null; String today = null; TransactionAttempt tx = null; @Override public void execute(Tuple tuple) { // TODO Auto-generated method stub String log = tuple.getString(1); tx = (TransactionAttempt)tuple.getValue(0); if (log != null && log.split("\\t").length >=3 ) { today = DateFmt.getCountDate(log.split("\\t")[2], DateFmt.date_short) ; count = countMap.get(today); if(count == null) { count = 0; } count ++ ; countMap.put(today, count); } } @Override public void finishBatch() { collector.emit(new Values(tx,today,count)); } @Override public void prepare(Map conf, TopologyContext context, BatchOutputCollector collector, TransactionAttempt id) { // TODO Auto-generated method stub this.collector = collector; } @Override public void declareOutputFields(OutputFieldsDeclarer declarer) { // TODO Auto-generated method stub declarer.declare(new Fields("tx","date","count")); } @Override public Map<String, Object> getComponentConfiguration() { // TODO Auto-generated method stub return null; } }
4、接收统计数据,累加汇总MyDailyCommitterBolt,batch之间强制按照顺序进行提交
public class MyDailyCommitterBolt extends BaseTransactionalBolt implements ICommitter{ /** * 接收统计数据,累加汇总 */ private static final long serialVersionUID = 1L; public static final String GLOBAL_KEY = "GLOBAL_KEY"; public static Map<String, DbValue> dbMap = new HashMap<String, DbValue>() ; Map<String, Integer> countMap = new HashMap<String, Integer>(); TransactionAttempt id ; BatchOutputCollector collector; String today = null; @Override public void execute(Tuple tuple) { today = tuple.getString(1) ; Integer count = tuple.getInteger(2); id = (TransactionAttempt)tuple.getValue(0); if (today !=null && count != null) { Integer batchCount = countMap.get(today) ; if (batchCount == null) { batchCount = 0; } batchCount += count ; countMap.put(today, batchCount); } } @Override public void finishBatch() { // TODO Auto-generated method stub if (countMap.size() > 0) { DbValue value = dbMap.get(GLOBAL_KEY); DbValue newValue ; if (value == null || !value.txid.equals(id.getTransactionId())) { //更新数据库 newValue = new DbValue(); newValue.txid = id.getTransactionId() ; newValue.dateStr = today; if (value == null) { newValue.count = countMap.get(today) ; }else { newValue.count = value.count + countMap.get("2014-01-07") ; } dbMap.put(GLOBAL_KEY, newValue); }else { newValue = value; } } System.out.println("total==========================:"+dbMap.get(GLOBAL_KEY).count); // collector.emit(tuple) } @Override public void prepare(Map conf, TopologyContext context, BatchOutputCollector collector, TransactionAttempt id) { // TODO Auto-generated method stub this.id = id ; this.collector = collector; } @Override public void declareOutputFields(OutputFieldsDeclarer declarer) { // TODO Auto-generated method stub } public static class DbValue { BigInteger txid; int count = 0; String dateStr; } }
5、topo类
public class MyDailyTopo { /** * @param args */ public static void main(String[] args) { // TODO Auto-generated method stub TransactionalTopologyBuilder builder = new TransactionalTopologyBuilder("ttbId","spoutid",new MyTxSpout(),1); builder.setBolt("bolt1", new MyDailyBatchBolt(),3).shuffleGrouping("spoutid"); builder.setBolt("committer", new MyDailyCommitterBolt(),1).shuffleGrouping("bolt1") ; Config conf = new Config() ; conf.setDebug(true); if (args.length > 0) { try { StormSubmitter.submitTopology(args[0], conf, builder.buildTopology()); } catch (AlreadyAliveException e) { e.printStackTrace(); } catch (InvalidTopologyException e) { e.printStackTrace(); } }else { LocalCluster localCluster = new LocalCluster(); localCluster.submitTopology("mytopology", conf, builder.buildTopology()); } } }
6、测试结果
引用
启动一个事务:0----10
total==========================:10
启动一个事务:10----10
total==========================:20
启动一个事务:20----10
total==========================:30
total==========================:10
启动一个事务:10----10
total==========================:20
启动一个事务:20----10
total==========================:30
发表评论
-
ITridentSpout、FirstN(取Top N)实现、 流合并和join
2017-05-25 10:01 1029一、ITridentSpout 基于事务 static int ... -
Trident实战之计算网站PV
2017-05-24 13:24 6451、Trident实战之计算网站PV /** * ... -
Trident API和概念
2017-05-23 10:57 747一、Trident API——Spout ITride ... -
Trident入门
2017-05-22 13:44 512英文原址:https://github.com/nathanm ... -
分布式远程调用drpc实例
2017-05-22 10:53 414一、DRPC定义 分布式dRPC(distributed RP ... -
不透明分区事务IOpaquePartitionedTransactional实例
2017-05-22 10:54 6751、spout public class MyOpaq ... -
分区事务IPartitionedTransactionalSpout实例
2017-05-21 11:02 5781.分区事务spout public class My ... -
普通事务ITransactionalSpout实例
2017-05-20 15:45 8171、普通事务Spout /** * 普通事务Spou ... -
Storm事务API
2017-05-19 16:00 610Spout ITransactionalSpout<T& ... -
Storm批处理事务原理详解
2017-05-19 15:54 2093事务:Storm容错机制通 ... -
集群统一启动和停止shell脚本开发
2017-05-17 09:56 4461、cd 2、ls -al 显示隐藏目录 3、rm -rf ... -
storm高并发UV统计
2017-05-14 22:05 1125统计高并发UV可行的方案(类似WordCount的计算去重wo ... -
storm高并发PV统计,利用zookeeper锁输出汇总值
2017-05-14 14:42 891汇总型方案: 1、shuffleGrouping下,pv(单线 ... -
storm高并发PV统计
2017-04-16 17:54 681一、PV统计思考 方案需要考虑分析多线程下,注意线程安全问题。 ... -
Storm高并发运用WordSum
2017-04-16 14:21 10661、创建发射所有字符串统计总个数及去重个数处理类 pub ... -
storm分组策略介绍
2017-04-16 11:46 699一、storm数据来源 Spout的数据源: MQ:直接流数 ... -
Storm高并发介绍
2017-04-16 10:18 585并发度: worker:指的是component (spo ... -
Storm 字符统计Demo
2017-04-14 13:57 5311、数据源读取,字符发射spout类 /** * 字符 ... -
Storm 本地模式
2017-04-09 22:25 392本地模式,是在eclipse等编译器编写strom运行文件 ... -
Storm启动配置
2017-03-29 17:40 666一、安装Storm wget ...
相关推荐
数据结构实践教程:内含17个经典数据结构实例 根据五个不同数据结构,对每个结构都有2~4个经典实例。每个实例都有项目简介、设计思路、数据结构、完整程序、运行结果五个部分,可以直接拿来做一篇课程设计。实例名称...
《SAS系统与数据分析:深度解析与实例应用》 SAS(Statistical Analysis System)是一种强大的统计分析软件,广泛应用于商业智能、数据挖掘、预测分析等领域。本资料集旨在为初学者提供一个全面且深入的SAS学习平台...
Labview数据采集和存储实例
Word文档则可能包含了多个项目的数据流图实例,这些实例可能涵盖了不同行业的ERP(Enterprise Resource Planning)系统,如ERP数据流图,展示了企业资源规划系统中数据如何流动和被处理。ER图表(Entity-...
在本项目中,"Web Echarts+layui 统计图表demo实例 (统计深圳市旅游景点信息)" 是一个基于Echarts和layui框架开发的数据可视化应用。Echarts是中国百度公司开源的一个JavaScript图表库,它提供了丰富的图表类型,如...
数据结构实践教程:内含17个经典数据结构实例 根据五个不同数据结构,对每个结构都有2~4个经典实例。每个实例都有项目简介、设计思路、数据结构、完整程序、运行结果五个部分,可以直接拿来做一篇课程设计。实例名称...
这份资源是一份针对深度学习计算机视觉领域的实例分割源码,使用 Ultralytics YOLOv8-seg 模型和 COCO128-seg 数据集进行目标检测和实例分割任务。提供了一个亲身测试且直接可运行的实例分割解决方案。 数据集我已经...
SPSS概览--数据分析实例详解 描述性统计分析-- Descriptive Statistics菜单详解
《十天学会单片机实例100》一书提供了丰富的单片机实践教程,旨在通过实际操作加深学习者对单片机的理解和掌握。以下是对该书中部分关键实例的知识点详细解读: ### 函数的使用和熟悉 函数是单片机编程中的基本构建...
本实例主要探讨的是如何使用MFC进行串口RS232编程,包括串口的初始化、参数配置、数据的发送与接收等关键环节。 串口通信,即RS-232通信,是一种广泛应用于设备间短距离通信的技术。它定义了接口信号的电气特性、...
文档里边包含了LabWindowsCVI数据采集与串口通信典型应用实例 主编李江全这本书的光盘文件
这些数据文件很可能包含了各种实例数据集,用于配合书中的案例分析,使读者能够动手实践并理解各种统计方法。通过这些数据,你可以练习读取数据、探索数据特性、建立模型、评估模型性能以及生成可视化结果等技能。...
13. **数据可视化**:LabVIEW强大的图表和图形功能会在实例中得到体现,如实时波形显示、数据统计图、3D图形等。 14. **并行处理与多线程**:LabVIEW支持并行编程,实例可能涵盖如何利用并行结构提高程序性能。 15...
"asp.net 图表 c#图表 chart 统计图(c#版含实例)"这个主题,主要涵盖了如何在ASP.NET应用中使用C#语言创建和操作图表,特别是统计图。 统计图是一种图形表示,它能够清晰地展示数据的分布、趋势和关系。在ASP.NET...
实例068 SESSION购物车中数据的读取 100 实例069 员工信息的管理 102 实例070 网页版九九乘法表 104 实例071 读取数组购物车中的数据 105 实例072 图像验证码的生成 106 2.6 跳转语句 107 实例073 控制页面中表情图...
总的来说,Spring多数据源分布式事务管理是一项复杂的任务,涉及到Spring的AOP、数据源路由、事务管理等多个方面。通过Atomikos这样的JTA实现,我们可以有效地解决分布式环境下的事务一致性问题。同时,结合Druid和...
实例245 取出数据统计结果前3名数据 9.4 周期、日期查询 实例246 查询指定日期的数据 实例247 查询指定时间段的数据 实例248 按月查询数据 9.5 大小比较、逻辑查询、重复记录查询 实例249 查询数据大于指定...
### CANopen实例分析之PDO #### 一、深入解析PDO收发过程 在现代工业自动化领域,CANopen作为一项广泛采用的现场总线协议,其PDO(Process Data Object,过程数据对象)机制扮演着关键角色,负责实时数据的高效...