`

Fourinone2.0对分布式文件的简化操作

阅读更多
Fourinone2.0里通过FttpAdapter和FileAdapter实现文件io的支持。其中,FttpAdapter提供对远程文件的操作,FileAdapter提供对本地文件的操作,两者api和使用相似,这里主要说明FttpAdapter:

FttpAdapter提供了对分布式文件的便利操作, 将集群中所有机器的硬盘资源利用起来,通过统一的fttp文件路径访问,并且windows和linux都能支持:

操作系统上的任何目录文件都可以通过添加fttp协议头和ip去访问:
fttp://IP或域名/window或linux原有目录文件名
比如访问windows系统的d:/data/a.log文件:
    windows:fttp://192.168.0.1/d:/data/a.log
比如访问linux系统的/home/user/a.log文件:
    linux:fttp:// 192.168.0.1/home/user/a.log

获取远程文件内容变的更简单,比如以这样的方式读取远程文件:
FttpAdapter fa = FttpAdapter("fttp://192.168.0.1/home/log/a.log");
fa.getFttpReader().readAll();
这里读取了192.168.0.1这台linux服务器上的/home/log/a.log文件的所有内容

提供对集群文件的操作支持,包括:
1、元数据访问,添加删除,按块拆分, 高性能并行读写,排他读写(按文件部分内容锁定),随机读写,集群复制等
2、对集群文件的解析支持(包括按行,按分割符,按最后标识读取)
3、对整形数据的高性能读写支持(ArrayInt比ArrayList存的更多更快)
4、两阶段提交和事务补偿处理
5、自带一个集群文件浏览器,可以查看集群所有硬盘上的文件(不同于hadoop的namenode,没有单点问题和容量限制)

总的来说, 将集群看做一个操作系统,像操作本地文件一样操作远程文件。

但是fourinone并不提供一个完整的分布式存储系统,比如文件数据的导入导出、拆分存储、负载均衡,备份容灾等存储功能, fourinone只是让完成这项工作变的简单,让开发人员可以利用这些api方便的设计和实现这些功能,用来满足自己的特定需求。

更多介绍请看使用指南:
一、如何搭建配置FttpAdapter环境
二、如何访问集群文件根目录
三、如何访问和操作远程文件
四、如何进行集群内文件复制和并行复制
五、如何读写远程文件
六、如何解析远程文件
七、如何并行读写远程文件
八、如何批量并行读写远程文件和事务补偿处理

邮箱:Fourinone@yeah.net
企鹅群:241116021
demo源码指南及开发包下载地址:
http://www.skycn.com/soft/68321.html
分享到:
评论
1 楼 helloqiner 2012-05-31  
fourinone 很有前途,希望楼主多写文档,多提供 demo

相关推荐

    Fourinone分布式计算框架

    ### 四合一(Fourinone)分布式计算框架关键知识点总结 #### 一、测试环境描述 **测试背景:** 该测试旨在评估Fourinone分布式计算框架的性能、压力及容灾能力。测试由淘宝测试团队执行,时间为2011年11月。 **...

    Fourinone分布式并行计算四合一框架

     Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api,实现对多台计算机cpu,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/...

    fourinone配置文件

    别的我不懂,今儿聊一下fourinone中的分布式缓存以及分布式文件系统,说到分布式,不得不用到网络通讯,不得不提及RPC,fourinone号称只有100多K,不依赖任何第三方jar,那通讯怎么玩啊!自己用socket或者NIO实现,...

    Fourinone四合一分布式计算框架整体介绍

    FourInOne的设计目标是简化分布式系统开发的复杂性,提高系统的可扩展性和容错性。它将复杂的分布式计算问题抽象成简单的API调用,使得开发者可以专注于业务逻辑,而无需过多关注底层的分布式细节。该框架的主要组成...

    分布式文件访问和操作指南

    本文旨在介绍一种名为Fourinone2.0框架下的分布式文件访问机制,特别是通过FttpAdapter和FileAdapter组件实现的分布式文件访问与操作。 #### 二、FttpAdapter与FileAdapter简介 在Fourinone2.0框架下,FttpAdapter...

    大数据与云计算培训学习资料 Fourinone实现分布式计算 共3页.pdf

    7. **分布式文件操作**:详细教程介绍了如何在Fourinone中对分布式文件进行操作,包括文件系统的搭建、访问、复制等。 **其他推荐学习资料:** 1. **NoSQL技术资料**:对于非关系型数据库的学习,可以参考NoSQL技术...

    淘宝分布式并行计算四合一框架Fourinone

    Fourinone框架的核心设计思想是将复杂的分布式系统简化为单一的管理模型,提供了一种高效、可靠的分布式解决方案。它主要包含了四个关键组成部分,分别是:分布式锁服务、分布式协调服务、分布式存储服务以及分布式...

    淘宝分布式框架fourinone介绍.pptx

    3. **分布式文件操作**:Fourinone允许用户像操作本地文件一样操作分布式文件,支持并发读写、文件分割、排他锁、复制、解析和事务等功能,有效利用多机硬盘存储能力。 4. **分布式协同与锁**及简化MQ功能:提供了...

    fourinone分布式协调设计解析

    《fourinone分布式协调设计解析》 在分布式系统中,协调是至关重要的,它涉及到节点间的通信、数据一致性、故障恢复等多个方面。...深入理解和使用FourInOne,将对提升我们的分布式系统设计能力有着极大的帮助。

    高级java笔试题-fourinone:四合一分布式计算框架

    于是我将自己对分布式的理解融入到这个框架中,考虑到底层实现技术的相似性,我将Hadoop,Zookeeper,MQ,分布式缓存四大主要的分布式计算功能合为一个框架内,对复杂的分布式计算应用进行了大量简化和归纳。...

    分布式计算的fourinone四合一框架设计

    不同于Hadoop,Fourinone采用工头链式结合工人并行的计算的方法,由于不依赖分布式文件系统,从而简化了分布式计算。 Fourinone把domain看作为mq队列,开发者根据自己的需求可以基于Fourinone自己去扩充这些功能,...

    【Hadoop与大数据54】沈强-基于Windows Azure平台构建云应用

    - **分布式文件操作**:支持像操作本地文件一样进行进程文件的操作,如访问、并行读写、拆分、排他性访问、复制、解析和事务处理等。 - **分布式协同与锁机制**:提供分布式协调和锁机制,简化消息队列功能,支持多...

    fourinone-3.04.25

    Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api,实现对多台计算机cpu,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/...

    五合一数据库开发源代码大全

    通过ASP,开发者能够编写VBScript或JScript代码,实现对SQL数据库的查询、插入、更新和删除操作,从而实现网页上的数据管理。 2. ASP+ACCESS:这里的组合是ASP与Microsoft Access数据库的搭配。Access是一款轻量级...

    Fourinone分布式计算框架性能、压力、容灾测试报告

    这份报告是在2021年11月于阿里巴巴集团旗下的淘宝内部完成的,其中包含了对Fourinone在云计算环境下的性能、压力和容灾能力的全面测试。 首先,Fourinone作为一款强大的分布式计算框架,其主要特点在于提供高效的...

    学习资料:淘宝分布式并行计算四合一框架Fourinone

    学习资料:淘宝分布式并行计算四合一框架Fourinone 内容:淘宝分布式并行计算四合一框架Fourinone详细介绍;源码分析及使用说明;Fourinone分布式计算框架性能、压力、容灾测试报告;框架压缩包 本示例把分配任务的...

    淘宝分布式框架fourinone介绍.pdf

    此外,它还支持像操作本地文件一样的进程文件操作,使得开发者可以利用分布式硬盘资源。 Fourinone的第二个特点是它所采用的编程API非常简单易用,对于想要实现分布式计算的工程师来说,能够快速上手。框架的低依赖...

    大型分布式架构设计框架fourinone3.04.25

    本源码包含分布式技术的主要应用,分别介绍分布式并行计算的基本概念、分布式协调、分布式缓存、消息队列、分布式文件系统、分布式作业调度平台等,是构建大型分布式网站架构与设计的重要参照和选择。本压缩包包含...

Global site tag (gtag.js) - Google Analytics