`
17studio
  • 浏览: 200094 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

分布式文件存储方案

阅读更多
client->请求分发模块->app->IO请求处理层->memcached->MogileFs->nfs->ext3

以前邮件系统的架构

IO请求处理层+缓冲管理层(预读写+块管理+索引管理)->nfs->ext3

文件分布存储解决的几个问题:

1. 容量
2. 成本
3. 速度
4. 服务稳定性

容量靠
1. mogilefs
2. nfs

成本靠
1. nfs的磁盘阵列柜方案

速度靠
1. 热点数据管理 (索引键: date/filepath/filesize)
2. 内存缓冲
3. ext3的inode

稳定性
1. raid
2. mogilefs
3. ext3

上述方案具有特点
1. 超大规模的验证
2. 业界普遍应用的经验积累

分享到:
评论
2 楼 17studio 2008-10-20  
ncache是在请求分发模块做的事情
1 楼 Arbow 2008-10-17  
一些索引之类的数据可以用memcached,但是文件缓存用它就很有问题了,窃认为使用ncache等代替这层是个更好的方案

相关推荐

    一个java实现的分布式文件存储系统,可以实现文件分布存储在不同的服务器中,进行上传、下载、删除

    分布式文件存储系统是一种高效、可扩展的解决方案,用于处理大量数据。Java实现的分布式文件存储系统,如"ctjdfs",提供了一种在多台服务器之间分散存储、管理和访问文件的方法,从而解决了单点存储的性能瓶颈和容错...

    开源分布式文件系统

    对于特定的业务场景,分布式文件系统也提供了不同的解决方案。比如,Facebook的Haystack主要设计用于存储海量图片,具有单次写入、多次读取的特性,并且支持高效的图片检索。Google的文件系统(GoogleFS/HDFS)则是...

    一种分布式文件存储系统的探索与应用.pdf

    分布式文件存储系统可以提供高性能、低成本的存储解决方案,从而满足企业对云环境下文件存储系统的需求。 2. 分布式文件存储系统的架构 分布式文件存储系统的架构主要由四种角色组成:Managing servers(master ...

    mongoDB分布式文件存储的数据库

    总之,MongoDB作为一款分布式文件存储的数据库,提供了强大的数据处理能力,并且支持丰富的数据结构和高效的分布式解决方案。结合PHP的驱动,可以方便地在Web应用中使用MongoDB,实现高性能的数据存储和检索。在深入...

    fastDFS分布式文件系统部署方案

    【FastDFS分布式文件系统部署方案】 FastDFS是一个开源的高性能分布式文件系统,它专注于解决海量数据存储的问题,尤其适用于中小文件(建议大小在4KB到500MB之间)的在线服务。FastDFS提供了文件存储、文件同步和...

    大量视频、图片、文件分布式存储技术方案.docx

    该方案基于HDFS(Hadoop Distributed File System)分布式文件系统,使用ZooKeeper分布式服务注册中心和ZKFailoverController客户端组件,实现高可用、可扩展、可靠的分布式存储系统。 分布式系统概述 分布式文件...

    分布式文件存储系统在高速公路视频监控中的设计探讨.pdf

    综上所述,分布式文件存储系统在高速公路视频监控中的设计探讨,不仅有助于解决现有集中式存储方案中出现的性能瓶颈和管理难题,还为未来监控存储系统的发展提供了新的思路和技术保障。随着监控技术和存储技术的不断...

    WindowsServer2012 DFS分布式文件系统

    总之,Windows Server 2012 中的 DFS 分布式文件系统是一项强大的技术,不仅提供了高度可用和可靠的数据存储解决方案,还极大地简化了用户对网络文件资源的管理和访问。对于那些依赖于大量文件共享的企业而言,DFS ...

    块存储、文件存储、对象存储这三者和分布式文件存储系统的本质区别+-+Nicholas的专栏+-+CSDN博客1

    【块存储】、【文件存储】和【对象存储】是三种...块存储适合高性能I/O需求,文件存储适合文件共享和协作,对象存储则在云存储和大数据领域表现出色,而分布式文件存储系统则提供了一种高效、可扩展的存储解决方案。

    基于TFS的分布式文件存储平台研究与实现.pdf

    这种增长不仅推动了存储技术的发展,也对分布式文件存储技术提出了更高的要求。分布式存储系统作为一种能够提供高可靠性和高性能的技术,已经成为解决互联网公司大规模数据存储问题的重要方案。 分布式文件存储平台...

    一款轻量级的开源分布式文件系统,功能包括:文件存储、文件同步、文件上传、文件下载等,解决了文件大容量存储和高性能访问问题

    FastDFS是一款专为互联网设计的轻量级开源分布式文件系统,它的主要目标是解决大容量文件存储和高并发访问的问题。作为一个高效的文件服务解决方案,FastDFS广泛应用于各种以文件为主要内容的应用场景,如图片分享...

    分布式文件系统的历史与现状.

    它允许用户通过网络访问存储在远程服务器上的文件,仿佛这些文件存储在本地一样。这种技术的关键在于提供了统一的访问接口,使用户无需关心数据的实际存储位置。 #### 三、分布式文件系统的发展历程 ##### 3.1 早期...

    面向BIM数据的分布式文件存储系统设计与实施.pdf

    【分布式文件存储系统设计与实施】面向BIM数据的存储挑战 随着BIM(Building Information Modeling,建筑信息模型)技术在国内的快速发展,BIM数据的快速增长对存储系统提出了新的要求,如高可用性、负载均衡和横向...

    面向分布式文件存储系统的数据恢复策略.pdf

    关键词包括:分布式存储、纠删码、流水线并行化、网络拓扑等,这些都是分布式文件存储系统数据恢复策略研究的关键技术领域。 综上所述,对于分布式文件存储系统来说,设计高效的数据恢复策略是提升系统可靠性与性能...

    分布式文件系统 c++编写

    分布式文件系统是一种在多台...对于学习和理解分布式文件系统的工作原理,或者构建自己的分布式存储解决方案,这是一个非常有价值的资源。深入研究这个项目,可以了解到如何在C++中设计和实现一个复杂的分布式系统。

    数据中心大规模分布式存储部署方案.pdf

    在设计数据中心存储架构时,根据服务类型的不同,应选择使用分布式块存储、分布式文件存储和分布式对象存储以满足不同场景下的资源需求。 五、部署方案与交换机选型 本文重点在于讨论数据中心规模的分布式存储部署...

    分布式文件系统需求

    分布式文件系统是一种大规模数据存储和管理的技术,它将单一的、大型的数据文件分割成多个小块,分布存储在多台计算机上,通过网络进行通信和协调,以提供高可用性、高并发性和高扩展性。在当今大数据时代,分布式...

    分布式文件系统综述文档

    因此,不断有新的存储技术和分布式文件系统解决方案应运而生,以满足不断增长的用户需求。 总的来说,分布式文件系统是现代计算环境中不可或缺的一部分,它通过创新的体系结构和关键技术,解决了传统本地文件系统在...

    springboot gofastdfs高性能高可用分布式文件存储系统demo

    本教程将详细介绍如何使用SpringBoot框架集成Gofastdfs,以构建一个强大的分布式文件存储解决方案。 1. **Gofastdfs简介** Gofastdfs是由国人开发的一款轻量级的分布式文件系统,它主要设计用于互联网场景,具有...

Global site tag (gtag.js) - Google Analytics