`
17studio
  • 浏览: 199836 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

分布式文件存储方案

memcached 
阅读更多
client->请求分发模块->app->IO请求处理层->memcached->MogileFs->nfs->ext3

以前邮件系统的架构

IO请求处理层+缓冲管理层(预读写+块管理+索引管理)->nfs->ext3

文件分布存储解决的几个问题：

1. 容量
2. 成本
3. 速度
4. 服务稳定性

容量靠
1. mogilefs
2. nfs

成本靠
1. nfs的磁盘阵列柜方案

速度靠
1. 热点数据管理 (索引键: date/filepath/filesize)
2. 内存缓冲
3. ext3的inode

稳定性
1. raid
2. mogilefs
3. ext3

上述方案具有特点
1. 超大规模的验证
2. 业界普遍应用的经验积累

分享到：
| resin 3.2 comet
评论
2 楼 17studio 2008-10-20  
ncache是在请求分发模块做的事情
1 楼 Arbow 2008-10-17  
一些索引之类的数据可以用memcached，但是文件缓存用它就很有问题了，窃认为使用ncache等代替这层是个更好的方案
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    一个java实现的分布式文件存储系统，可以实现文件分布存储在不同的服务器中，进行上传、下载、删除

    分布式文件存储系统是一种高效、可扩展的解决方案，用于处理大量数据。Java实现的分布式文件存储系统，如"ctjdfs"，提供了一种在多台服务器之间分散存储、管理和访问文件的方法，从而解决了单点存储的性能瓶颈和容错...

    开源分布式文件系统

    对于特定的业务场景，分布式文件系统也提供了不同的解决方案。比如，Facebook的Haystack主要设计用于存储海量图片，具有单次写入、多次读取的特性，并且支持高效的图片检索。Google的文件系统（GoogleFS/HDFS）则是...

    一种分布式文件存储系统的探索与应用.pdf

    分布式文件存储系统可以提供高性能、低成本的存储解决方案，从而满足企业对云环境下文件存储系统的需求。 2. 分布式文件存储系统的架构 分布式文件存储系统的架构主要由四种角色组成：Managing servers（master ...

    mongoDB分布式文件存储的数据库

    总之，MongoDB作为一款分布式文件存储的数据库，提供了强大的数据处理能力，并且支持丰富的数据结构和高效的分布式解决方案。结合PHP的驱动，可以方便地在Web应用中使用MongoDB，实现高性能的数据存储和检索。在深入...

    fastDFS分布式文件系统部署方案

    【FastDFS分布式文件系统部署方案】 FastDFS是一个开源的高性能分布式文件系统，它专注于解决海量数据存储的问题，尤其适用于中小文件（建议大小在4KB到500MB之间）的在线服务。FastDFS提供了文件存储、文件同步和...

    大量视频、图片、文件分布式存储技术方案.docx

    该方案基于HDFS（Hadoop Distributed File System）分布式文件系统，使用ZooKeeper分布式服务注册中心和ZKFailoverController客户端组件，实现高可用、可扩展、可靠的分布式存储系统。 分布式系统概述 分布式文件...

    分布式文件存储系统在高速公路视频监控中的设计探讨.pdf

    综上所述，分布式文件存储系统在高速公路视频监控中的设计探讨，不仅有助于解决现有集中式存储方案中出现的性能瓶颈和管理难题，还为未来监控存储系统的发展提供了新的思路和技术保障。随着监控技术和存储技术的不断...

    WindowsServer2012 DFS分布式文件系统

    总之，Windows Server 2012 中的 DFS 分布式文件系统是一项强大的技术，不仅提供了高度可用和可靠的数据存储解决方案，还极大地简化了用户对网络文件资源的管理和访问。对于那些依赖于大量文件共享的企业而言，DFS ...

    块存储、文件存储、对象存储这三者和分布式文件存储系统的本质区别+-+Nicholas的专栏+-+CSDN博客1

    【块存储】、【文件存储】和【对象存储】是三种...块存储适合高性能I/O需求，文件存储适合文件共享和协作，对象存储则在云存储和大数据领域表现出色，而分布式文件存储系统则提供了一种高效、可扩展的存储解决方案。

    基于TFS的分布式文件存储平台研究与实现.pdf

    这种增长不仅推动了存储技术的发展，也对分布式文件存储技术提出了更高的要求。分布式存储系统作为一种能够提供高可靠性和高性能的技术，已经成为解决互联网公司大规模数据存储问题的重要方案。 分布式文件存储平台...

    一款轻量级的开源分布式文件系统，功能包括：文件存储、文件同步、文件上传、文件下载等，解决了文件大容量存储和高性能访问问题

    FastDFS是一款专为互联网设计的轻量级开源分布式文件系统，它的主要目标是解决大容量文件存储和高并发访问的问题。作为一个高效的文件服务解决方案，FastDFS广泛应用于各种以文件为主要内容的应用场景，如图片分享...

    分布式文件系统的历史与现状.

    它允许用户通过网络访问存储在远程服务器上的文件，仿佛这些文件存储在本地一样。这种技术的关键在于提供了统一的访问接口，使用户无需关心数据的实际存储位置。 #### 三、分布式文件系统的发展历程 ##### 3.1 早期...

    面向BIM数据的分布式文件存储系统设计与实施.pdf

    【分布式文件存储系统设计与实施】面向BIM数据的存储挑战 随着BIM（Building Information Modeling，建筑信息模型）技术在国内的快速发展，BIM数据的快速增长对存储系统提出了新的要求，如高可用性、负载均衡和横向...

    面向分布式文件存储系统的数据恢复策略.pdf

    关键词包括：分布式存储、纠删码、流水线并行化、网络拓扑等，这些都是分布式文件存储系统数据恢复策略研究的关键技术领域。 综上所述，对于分布式文件存储系统来说，设计高效的数据恢复策略是提升系统可靠性与性能...

    分布式文件系统 c++编写

    分布式文件系统是一种在多台...对于学习和理解分布式文件系统的工作原理，或者构建自己的分布式存储解决方案，这是一个非常有价值的资源。深入研究这个项目，可以了解到如何在C++中设计和实现一个复杂的分布式系统。

    数据中心大规模分布式存储部署方案.pdf

    在设计数据中心存储架构时，根据服务类型的不同，应选择使用分布式块存储、分布式文件存储和分布式对象存储以满足不同场景下的资源需求。 五、部署方案与交换机选型 本文重点在于讨论数据中心规模的分布式存储部署...

    分布式文件系统需求

    分布式文件系统是一种大规模数据存储和管理的技术，它将单一的、大型的数据文件分割成多个小块，分布存储在多台计算机上，通过网络进行通信和协调，以提供高可用性、高并发性和高扩展性。在当今大数据时代，分布式...

    分布式文件系统综述文档

    因此，不断有新的存储技术和分布式文件系统解决方案应运而生，以满足不断增长的用户需求。 总的来说，分布式文件系统是现代计算环境中不可或缺的一部分，它通过创新的体系结构和关键技术，解决了传统本地文件系统在...

    springboot gofastdfs高性能高可用分布式文件存储系统demo

    本教程将详细介绍如何使用SpringBoot框架集成Gofastdfs，以构建一个强大的分布式文件存储解决方案。 1. **Gofastdfs简介** Gofastdfs是由国人开发的一款轻量级的分布式文件系统，它主要设计用于互联网场景，具有...

Magicbox
Global site tag (gtag.js) - Google Analytics