`

淘宝分布式框架Fourinone2.0正式版发布

阅读更多
淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api,实现对多台计算机cpu,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/手工仓库)用于利用多机多核cpu的计算能力;提供完整的分布式缓存和小型缓存用于利用多机内存能力;提供像操作本地文件一样操作远程文件(访问,并行读写,拆分,排它,复制,解析,事务等)用于利用多机硬盘存储能力;由于多计算机物理上独立,Fourinone框架也提供完整的分布式协同和锁以及简化MQ功能,用于实现多机的协作和通讯。

Fourinone 2.0新增功能:
一、提供了对分布式文件的便利操作, 将集群中所有机器的硬盘资源利用起来,通过统一的fttp文件路径访问,如:
windows:fttp://v020138.sqa.cm4/d:/data/a.log
linux:fttp://v020138.sqa.cm4/home/user/a.log

比如以这样的方式读取远程文件:
FttpAdapter fa = FttpAdapter("fttp://v020138.sqa.cm4/home/log/a.log");
fa.getFttpReader().readAll();

提供对集群文件的操作支持,包括:
1、元数据访问,添加删除,按块拆分, 高性能并行读写,排他读写(按文件部分内容锁定),随机读写,集群复制等
2、对集群文件的解析支持(包括按行,按分割符,按最后标识读取)
3、对整形数据的高性能读写支持(ArrayInt比ArrayList存的更多更快)
4、两阶段提交和事务补偿处理
5、自带一个集群文件浏览器,可以查看集群所有硬盘上的文件(不同于hadoop的namenode,没有单点问题和容量限制)

总的来说, 将集群看做一个操作系统,像操作本地文件一样操作远程文件。

但是fourinone并不提供一个分布式存储系统,比如文件数据的导入导出、拆分存储、负载均衡,备份容灾等存储功能,不过开发人员可以利用这些api去设计和实现这些功能,用来满足自己的特定需求。

更多介绍请看使用指南:
一、如何搭建配置FttpAdapter环境
二、如何访问集群文件根目录
三、如何访问和操作远程文件
四、如何进行集群内文件复制和并行复制
五、如何读写远程文件
六、如何解析远程文件
七、如何并行读写远程文件
八、如何批量并行读写远程文件和事务补偿处理


二、自动化class和jar包部署
class和jar包只需放在工头机器上, 各工人机器会自动获取并执行,兼容操作系统,不需要进行安全密钥复杂配置

三、网络波动状况下的策略处理,设置抢救期,抢救期内网络稳定下来不判定结点死亡

下载地址:
http://www.skycn.com/soft/68321.html
分享到:
评论

相关推荐

    淘宝分布式框架fourinone介绍.pptx

    【淘宝分布式框架Fourinone详解】 Fourinone是一款由淘宝开发的轻量级分布式框架,其核心目标是通过整合分布式计算、分布式缓存、一致性、消息队列和分布式文件系统等关键技术,为大型互联网应用提供强大的计算能力...

    淘宝分布式框架fourinone介绍.pdf

    淘宝分布式框架Fourinone是一个创新的分布式计算平台,它的诞生是为了解决互联网大型应用在处理大数据时所面临的技术难题。分布式计算框架的出现,极大程度上推动了搜索、云计算、大数据等领域的技术发展。Fourinone...

    大规模分布式框架fourinone-4.05.06

    《大规模分布式框架fourinone-4.05.06详解》 在当前的信息化社会中,大数据处理和高并发访问的需求日益增长,这催生了众多分布式框架的诞生。其中,"fourinone"作为一款高效、稳定且易用的大规模分布式框架,备受...

    Fourinone分布式计算框架

    ### 四合一(Fourinone)分布式计算框架关键知识点总结 #### 一、测试环境描述 **测试背景:** 该测试旨在评估Fourinone分布式计算框架的性能、压力及容灾能力。测试由淘宝测试团队执行,时间为2011年11月。 **...

    淘宝分布式并行计算四合一框架Fourinone

    《淘宝分布式并行计算四合一框架Fourinone》 在当今大数据时代,高效处理海量数据的能力成为了企业竞争力的关键。淘宝作为中国最大的电商平台,其背后的技术支撑尤为重要。为此,淘宝研发了名为“Fourinone”的...

    学习资料:淘宝分布式并行计算四合一框架Fourinone

    学习资料:淘宝分布式并行计算四合一框架Fourinone 内容:淘宝分布式并行计算四合一框架Fourinone详细介绍;源码分析及使用说明;Fourinone分布式计算框架性能、压力、容灾测试报告;框架压缩包 本示例把分配任务的...

    大数据与云计算培训学习资料 阿里技术 淘宝分布式并行计算四合一框架Fourinone 共40页.pptx

    大数据与云计算培训学习资料 阿里技术 淘宝分布式并行计算四合一框架Fourinone 共40页.pptx

    Fourinone分布式并行计算四合一框架

     Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api,实现对多台计算机cpu,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/...

    Fourinone四合一分布式计算框架整体介绍

    《FourInOne四合一分布式计算框架详解》 FourInOne是一个高效的分布式计算框架,它集成了数据并行处理、任务调度、分布式存储和网络通信等功能,为开发者提供了一站式的解决方案,尤其适用于大规模数据处理和分布式...

    分布式计算的fourinone四合一框架设计

    Fourinone框架是将分布式协同的技术性和故障处理的可行性,把Hadoop、Zookeeper、MQ和分布式缓存的功能合并成一个框架。Fourinone采用的是domain/node两层结构,不仅保持了Zookeeper最本质的稳定性,而且还简化Watch...

    大型分布式架构设计框架fourinone3.04.25

    本源码包含分布式技术的主要应用,分别介绍分布式并行计算的基本概念、分布式协调、分布式缓存、消息队列、分布式文件系统、分布式作业调度平台等,是构建大型分布式网站架构与设计的重要参照和选择。本压缩包包含...

    fourinone分布式协调设计解析

    《fourinone分布式协调设计解析》 在分布式系统中,协调是至关重要的,它涉及到节点间的通信、数据一致性、故障恢复等多个方面。FourInOne就是这样一款用于解决分布式环境中的协调问题的工具,它提供了一种高效且...

    淘宝fourinone 架构原理

    淘宝FourInOne是一款由阿里巴巴集团自主研发的轻量级并行计算框架,它主要用于解决大规模分布式系统中的高并发、低延迟的问题,为电商平台如淘宝提供强大的数据处理能力。该框架的设计理念是简化分布式计算的复杂性...

    【Hadoop与大数据54】沈强-基于Windows Azure平台构建云应用

    本篇文章主要探讨了在Windows Azure平台上构建云应用时所使用的分布式框架——Fourinone 2.0,及其与Hadoop的比较分析。文章由一位资深Java技术专家撰写,他拥有超过十年的Java技术领域经验,曾担任淘宝网高级技术...

    Fourinone分布式计算框架性能、压力、容灾测试报告

    《Fourinone分布式计算框架性能、压力、容灾测试报告》是针对Fourinone这一先进计算框架进行深度评估的文档,旨在验证其在大规模数据处理中的优越性。这份报告是在2021年11月于阿里巴巴集团旗下的淘宝内部完成的,...

    四合一分布式计算框架源代码

    淘宝Fourinone(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘记了我们想...

    五合一数据库开发源代码大全

    C#与SQL Server的结合,利用ADO.NET框架,可以实现高效、安全的数据库操作。ADO.NET提供了DataSet、DataTable、DataAdapter等组件,支持离线数据处理,并且能够直接执行SQL命令,实现复杂的数据库操作。 这五种开发...

    fourinone-3.04.25

    Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api,实现对多台计算机cpu,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/...

Global site tag (gtag.js) - Google Analytics