我们现实中的分布式计算存在多个环节,比如有的任务拆分,有的计算结果合并,或者是多个拆分和合并,他们之间是串行关系,也就是合并必须等待拆分和计算完成才能进行,同时每个拆分或者合并的任务又都是并行的过程。
CtorDemo:是包含了3个工头实例,对应3个环节,链式处理,实现过程获取到线上工人节点,进行调用,所有的分配任务和中间结果存储都由自己实现处理。
这里简单的将20条数据分配给多个工人处理,数据用data变量表示,j用来记录计算结果,如果j==20,标志结束,任务初始为一个id的字符传给工头实例1,工头加上自己名称的描述和数据data后传给工人处理,工人再加上自己的名称和处理信息返回给工头,工头实例1处理完再传给工头实例2,直到3个工头都链式处理完, 这里将上工头的处理结果又当做下一个工头的输入。
注意:工头和工人之间是异步调用,会马上返回,需要检查结果是否完成。
WareHouse[] hmarr = new WareHouse[wks.length];
这里通过hmarr数组来记录每次每个工人任务分配的结果,需要轮循hmarr的每个结果是否已经计算完成,如果计算完成就设置为null,进行新的任务安排。
WorkerDemo:是一个工人实现,工人可以指定某种类型,比如有的工人用于计算,有的用于合并,也都是自己实现。这里只是简单的在工头传入的id后加上自己的名称信息代表处理。
waitWorking("localhost",Integer.parseInt(args[1]),"workdemo");
该方法进行任务等待,其中3个参数分别指定工人监听ip, 工人监听端口,和工人类型
ParkServerDemo: 分布式计算过程的协同服务park
另外:工头和工人之间的计算交互有两种模式,一种是工头直接调用工人,一种是通过park消息中枢,可以在配置文件里配置COMPUTEMODE的默认值进行指定,默认是直接调用方式。
部署:CtorDemo,WorkerDemo,ParkServerDemo分别部署在不同机器或者同台机器不同进程,Worker可以有多个。
运行步骤:
1、启动ParkServerDemo(它的IP端口已经在配置文件的PARK部分的SERVERS指定)
2、运行WorkerDemo, 通过传入不同的端口和名称参数指定多个Worker,这里假设在同机演示,ip设置为localhost
3、运行CtorDemo
邮箱:fourinone@yeah.net
腾讯群:1313859
本demo源码和开发包下载
http://www.skycn.com/soft/68321.html
- 大小: 170.9 KB
分享到:
相关推荐
**大数据与云计算培训学习资料——Fourinone实现分布式计算** 在大数据和云计算领域,分布式计算是核心技术之一,它能够处理海量数据并行运算,提高处理效率。Fourinone是淘宝自主研发的一个分布式并行计算框架,它...
1. **分布式并行计算**:FourInOne支持MapReduce模型,允许用户进行大规模的数据并行处理,通过任务分解、数据分片和结果聚合实现高效计算。 2. **任务调度系统**:内置的任务调度机制能根据资源状态动态调整任务...
开发包里自带了一系列傻瓜上手demo,包括分布式计算、统一配置管理、集群管理、分布式锁、分布式缓存、MQ等方面, 每个demo均控制在少许行代码内,但是涵盖了Fourinone主要的功能,方便大家快速理解并掌握。...
FourInOne(中文名字“四不像”)是一个四合一分布式计算框架,在写这个...开发包里自带了一系列傻瓜上手demo,包括分布式计算、统一配置管理、集群管理、分布式锁、分布式缓存、MQ等方面帮助掌握fourinone的全部功能
《Fourinone分布式计算框架性能、压力、容灾测试报告》是针对Fourinone这一先进计算框架进行深度评估的文档,旨在验证其在大规模数据处理中的优越性。这份报告是在2021年11月于阿里巴巴集团旗下的淘宝内部完成的,...
开发者根据自己的需求可以基于Fourinone自己去扩充这些功能,包括mq集群,通过一个独立的domain/node建立队列或者主题的key隐射,再仿照上面分布式缓存的智能依据key定位服务器的做法实现集群管理。
《淘宝分布式并行计算四合一框架Fourinone》 ...阅读《淘宝分布式并行计算四合一框架Fourinone.pdf》文件,可以深入理解其设计理念、实现原理以及具体应用案例,对于理解和实践分布式系统有着极高的价值。
FourInOne的核心设计是基于ZooKeeper的,ZooKeeper是一款开源的分布式协调服务,它为分布式应用提供了诸如配置管理、命名服务、集群管理等多种功能。FourInOne在其基础上,进一步封装了接口,简化了开发者的使用,...
Java分布式计算多机配置是指在多台计算机上部署和配置Java分布式系统的实现类、fourinone.jar和config.xml文件,以实现分布式计算的目的。其中,parkserver、worker和ctor分别扮演着不同的角色,并且需要相互协作来...
学习资料:淘宝分布式并行计算四合一框架Fourinone 内容:淘宝分布式并行计算四合一框架Fourinone详细介绍;源码分析及使用说明;Fourinone分布式计算框架性能、压力、容灾测试报告;框架压缩包 本示例把分配任务的...
Fourinone的第二个特点是它所采用的编程API非常简单易用,对于想要实现分布式计算的工程师来说,能够快速上手。框架的低依赖性也是其优势之一,仅需要一个jar包和配置文件,无需复杂的依赖管理和配置过程。 ...
开发包里自带了一系列傻瓜上手demo,包括分布式计算、统一配置管理、集群管理、分布式锁、分布式缓存、MQ等方面, 每个demo均控制在少许行代码内,但是涵盖了Fourinone主要的功能,方便大家快速理解并掌握。...
淘宝Fourinone(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘记了我们想...
淘宝Fourinone(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘记了我们想...
fourinone是一款分布式协调服务框架,它的设计思路是将任务分配者(工头)和任务执行者(工人)通过一个协调者(职介所)进行连接,实现任务的分布式处理。这个框架的核心概念包括工头进程、工人进程以及职介所服务...
Fourinone是一款由淘宝开发的轻量级分布式框架,其核心目标是通过整合分布式计算、分布式缓存、一致性、消息队列和分布式文件系统等关键技术,为大型互联网应用提供强大的计算能力和统一的资源管理。这款框架特别...
淘宝FourInOne是一款由阿里巴巴集团自主研发的轻量级并行计算框架,它主要用于解决大规模分布式系统中的高并发、低延迟的问题,为电商平台如淘宝提供强大的数据处理能力。该框架的设计理念是简化分布式计算的复杂性...
别的我不懂,今儿聊一下fourinone中的分布式缓存以及分布式文件系统,说到分布式,不得不用到网络通讯,不得不提及RPC,fourinone号称只有100多K,不依赖任何第三方jar,那通讯怎么玩啊!自己用socket或者NIO实现,...