`

分布式文件系统选型

阅读更多
1、MogileFS
Key-Value型元文件系统,不支持FUSE,应用程序访问它时需要API,主要用在web领域处理海量小图片,效率相比mooseFS高很多。

2、FastDFS
国人在mogileFS的基础上进行改进的key-value型文件系统,同样不支持FUSE,提供比mogileFS更好的性能。

3、MooseFS(我目前使用的)
支持FUSE,相对比较轻量级,对master服务器有单点依赖,用perl编写,性能相对较差,其master非常占内存?(测试结果貌似是chunkserver)国内用的人比较多。

4、GlusterFS
支持FUSE,比mooseFS庞大官方测试最高带宽达到32GB/S,号称比lustre还要好,和MFS相似之处是基于用户态的文件系统,也支持分条、副本,快照好像不支持,有很多性能优化的策略,配置也比较简单,比较适合大型应用。

5、Ceph
支持FUSE,客户端已经进入了linux-2.6.34内核,也就是说可以像ext3/rasierFS一样,选择ceph为文件系统。彻底的分布式,没有单点依赖,用C编写,性能较好。基于不成熟的btrfs,其本身也非常不成熟。

6、Lustre
Oracle公司的企业级产品,非常庞大,对内核和ext3深度依赖

总而言之开源分布式文件系统不适合海量小文件存储
分享到:
评论

相关推荐

    常用分布式文件系统选型对比

    分布式文件系统是支持大量数据分布存储并能被多个客户端同时访问的文件系统。其设计目标主要是为了高效、可靠地处理跨网络分布的大量数据。在选择合适的分布式文件系统时,需要从多个维度进行考量,包括但不限于架构...

    分布式文件系统选型分析.docx

    分布式文件系统是现代大数据处理和云计算环境中不可或缺的基础设施。它们为大规模的数据存储和高效访问提供了可靠的解决方案。在本文中,我们将深入探讨几种常见的分布式文件系统,包括TFS、HDFS、FastDFS、mogileFS...

    分布式文件系统在全国公安交管互联网服务平台的研究与应用.pdf

    在对分布式文件系统进行选型研究时,除了FastDFS之外,还有Hadoop HDFS(Hadoop Distributed File System)和淘宝的TFS(Taobao File System)。这些系统均基于GoogleFS的设计原理,并对开源实现进行了改进。在选择...

    分布式文件系统在G/S模式中的应用研究

    通过详尽的性能测试和功能对比,为G/S模式下分布式文件系统的选型提供了理论依据和数据支持。 **5. HGML与FastDFS的集成应用** 论文实现了使用HGML(一种管理调度工具)对FastDFS分布式文件系统进行管理调度,使之...

    FastDFS分布式文件系统.docx

    3.能够理解FastDFS分布式文件系统架构、及架构思想 4.能够理解文件上传、下载、 文件服务器访问的流程 5.能够完成FastDFS环境搭建(使用docker镜像即可) 6.能够理解FastDFS&nginx访问流程 7.能够掌握FastDFS错误...

    分布式文件系统存储介质评测与分析.pdf

    分布式文件系统是现代大数据处理和云计算环境中不可或缺的一部分,它们提供了高效、可扩展的数据存储和访问能力。本篇文章《分布式文件系统存储介质评测与分析》深入探讨了不同类型的存储介质——磁盘、SSD(固态...

    基于分布式文件系统的教学云平台设计与实现.pdf

    分布式文件系统和教学云平台的设计与实现是当前教育信息技术领域的一个重要课题。随着计算机技术的发展,教学模式逐渐由传统的面对面教学转变为基于网络的远程教学。为了适应这一趋势,高校需要一个高效、稳定且易于...

    分布式文件系统与MPP数据库的混搭架构在电信大数据平台中的应用.pdf

    分布式文件系统和MPP数据库各有优势,分布式文件系统在处理超大数据集和容错性方面表现出色,而MPP数据库在查询性能和分析处理方面有着明显优势。随着大数据平台的场景多样化,混合使用这两种技术的架构成为了一个新...

    分布式数据库选型1

    GFS是一个高度可用的文件系统,提供全局命名空间,通过数据复制确保容错性。Hypertable采用C/C++开发,适用于Linux和Mac OS操作系统,它支持主键索引,使数据查询更高效。通过使用类似于Bigtable的数据模型,...

    罗克韦尔 智能分布式电机控制系统选型指南.zip

    罗克韦尔智能分布式电机控制系统选型指南是一个深入解析罗克韦尔自动化产品在电机控制领域的应用和技术细节的重要参考资料。这份指南主要针对那些在工业自动化领域工作,需要为各种应用场景选择合适电机控制系统的...

    Ceph分布式文件系统 v16.2.12.zip

    **Ceph分布式文件系统 v16.2.12** Ceph是一个开源的、高度可扩展的分布式存储系统,主要用于云存储、对象存储、块存储和文件存储。它旨在提供高可用性、性能和数据安全性。Ceph的核心设计原则是无中心节点,这使得...

    北邮软件工程-分布式温控系统

    这个压缩包中的“中央空调.rar”文件很可能包含了一个模拟或实现分布式温控系统中中央空调部分的源代码和相关配置。在分布式系统中,中央空调作为一个子系统,负责调节整个建筑或区域的温度,它可能通过网络与其他...

    五大分布式搜索方案选型.doc

    Solandra的索引存储在Cassandra中,简化了部署过程,但其首次查询效率较低,因为索引需从数据库读取,而非直接从文件系统。此外,Solandra的索引分布对后期维护不透明,且在节点故障时,如果超过一定数量的节点失效...

    换个角度看GlusterFS分布式文件系统

    GlusterFS不是一个完美的分布式文件系统,这个系统自身也有许多不足之处,本文不再谈GlusterFS的各种优点,而是深入谈谈GlusterFS当下的问题和不足,从而更加深入地理解GlusterFS系统,期望帮助大家进行正确的系统...

    分布式邮件系统设计(pdf)

    - **操作系统配置**:推荐使用Linux或FreeBSD,并根据邮件系统的特点进行内核调整,例如提高文件打开数、调整堆栈大小等。 - **邮件传输代理(MTA)的选择**:Qmail和Postfix都是优秀的选择,其中Qmail因模块化设计...

    浅议分布式对象存储系统选型与应用.pdf

    在选择和应用分布式对象存储系统时,系统选型要考虑诸多因素,如数据的读写性能、系统的可扩展性、数据的可靠性和安全性等。同时,需要关注对象存储系统在特定应用场景下的实际表现,以及与现有系统架构的兼容性问题...

    ZZ-2021027 分布式光伏系统的装调与运维赛项规程.pdf

    1. 分布式光伏电站的设备选型及布置:通过分布式仿真规划系统,进行电站容量计算、组件选型和排布、倾角设置、选址等,并配置出满足要求的电站建设方案。 2. 分布式光伏系统的系统组成知识与安装技术:包括分布式...

    泓格 分布式数据采集控制系统.pdf

    根据提供的文件内容,我们可以提取出关于“泓格分布式数据采集控制系统”的知识点。这个文件描述了一种自动化控制系统的组件和接口,这种系统被设计用于从各种传感器和执行器中采集数据,并将其传输到计算机进行处理...

    文件存储 选型报告.pdf

    分布式文件系统如GFS(Google File System)、HDFS(Hadoop Distributed File System)、Lustre、Ceph、GridFS、mogileFS、TFS(Taobao FileSystem)和FastDFS等,成为了大数据时代的重要工具。这些系统并非系统级别...

Global site tag (gtag.js) - Google Analytics