`
gqf2008
  • 浏览: 76735 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

MogileFS分布式文件存储系统

阅读更多

mogileFS是一个分布式文件存储的解决方案,他由Six Apart开发下面列出了他的一些特性(由mogileFS页面http://www.danga.com/mogilefs/ 介绍翻译而来)

  • 应用层——不需要特殊的核心组件
  • 无单点失败——MogileFS安装的三个组件(存储节点、跟踪器、跟踪用的数据库),均可运行在多个 机器上,因此没有单点失败。(你也可以将跟踪器和存储节点运行在同一台机器上,这样你就没有必要用4台机器)推荐至少两台机器。
  • 自 动的文件复制——基于不同的文件“分类”,文件可以被自动的复制到多个有足够存储空间的存储节点上,这样可以满足这个“类别”的最少复制要求。比如你有一 个图片网站,你可以设置原始的JPEG图片需要复制 至少三份,但实际只有1or2份拷贝,如果丢失了数据,那么Mogile 可以重新建立遗失的拷贝数。用这种办法,MogileFS(不做RAID)可以节 约 磁盘,否则你将存储同样的拷贝多份,完全没有必要。
  • “比RAID好多了”——在一个非存储区域网络的RAID(non-SAN RAID)的建立中,磁盘是冗余的,但主机不是,如果你整个机器坏了,那么文件也将不能访问。 MogileFS在不同的机器之间进行文件复制,因此文件始终是可用的。
  • 传输中立,无特殊协议——MogileFS客户端可以通过NFS或HTTP来和MogileFS的存储节点来通信,但首先需要告知跟踪器一下。
  • 简单的命名空间——文件通过一个给定的key来确定,是一个全局的命名空间。你可以自己生成多个命名空间,只要你愿意,不过这样可能在同一MogileFS中会造成key冲突。
  • 不用共享任何东西——MogileFS不需要依靠昂贵的SAN来共享磁盘,每个机器只用维护好自己的磁盘。
  • 不需要RAID——在MogileFS中的磁盘可以是做了RAID的也可以是没有,如果是为了安全性着想的话RAID没有必要买了,因为MogileFS已经提供了。
  • 不会碰到文件系统本身的不可知情况——在MogileFS中的存储节点的磁盘可以被格式化成多种格式(ext3,reiserFS等等)。MogilesFS会做自己内部目录的哈希,所以它不会碰到文件系统本身的一些限制,比如一个目录中的最大文件数。你可以放心的使用。

Mogilefs   的网站地址(http://   www.danga.com   /mogilefs   )

php 扩展  的地址(http://www.capoune.net/mogilefs/   )提供了一个php扩展用来在php中使用mogileFS。
这儿也有一个地址,svn的源码库  http://svn.usrportage.de/php-mogilefs/trunk/

mogileFS 安装步骤(  http://durrett.net/mogilefs_setup.html
mogileFS 使用perl 编写的,在安装前你应该先安装好perl。同时mogileFS也需要一个数据库用来保存文件数据的跟踪信息(目前好像可以使用MySQL推荐   , SQLite,Oracle,Postsql)。

这儿有一个兄弟的中文安装学习笔记  mogileFS学习

mogileFS   适合于静态存储,就是那种一次保存,多次读取型的资源,比如以html方式静态化处理的动态文件,图片文件,其他只提供下载的文件等。

分享到:
评论

相关推荐

    基于MogileFS的PNDFS分布式文件系统设计源码

    该项目为PNDFS分布式文件系统设计源码,基于开源高性能分布式文件系统MogileFS构建。源码包含91个文件,涵盖49个Python脚本、11个Java类、7个JAR包、6个配置文件、3个YAML文件、2个日志文件、1个项目文件、1个许可证...

    应用级分布式文件系统接口标准化探索.pdf

    为了提高系统的可用性,分布式文件系统通常采用副本机制,即文件的多个副本会保存在不同的存储服务器中,这样一来即使某些服务器发生故障,文件仍然可被访问。在可扩展性方面,分布式文件系统能够支持简单地添加存储...

    Nginx反代Mogilefs分布式储存示例详解

    MogileFS是一个开源的分布式文件存储系统,特别适用于存储海量的小文件。由LiveJournal旗下的Danga Interactive公司开发,MogileFS也包含多个其他著名的开源项目,例如Memcached和Perlbal。MogileFS的架构主要由...

    分布式文件系统安装教程

    分布式文件系统是一种可以将多个文件系统组合成一个逻辑文件系统的技术, MogileFS 是一种开源的分布式文件系统,使用 RESTful 客户端可以轻松地管理和维护 MogileFS 集群。本文将详细介绍 MogileFS 及其 RESTful ...

    分布式文件系统选型分析.docx

    mogileFS是一个分布式文件存储系统,设计用于处理大量小文件,支持自动故障恢复和负载均衡。与FastDFS类似,mogileFS适合于Web应用中的文件存储,但它提供了更丰富的功能,如分片和冗余存储策略,但可能在复杂环境下...

    开源分布式文件系统FastDFS和MogileFS - [Linux].docx

    FastDFS和MogileFS都是开源的分布式文件系统,适用于处理大量文件存储和访问的场景,如图像分享网站和视频流媒体服务。这两种系统都设计有防止单点故障的机制,并提供了文件的冗余备份,以确保数据的可靠性。 ...

    构建分布式文件存储[定义].pdf

    分布式文件存储是一种解决方案,用于处理超出单台计算机存储能力的大规模数据存储需求。...这样的分布式文件存储系统设计旨在提供高效、可靠且可扩展的存储服务,以适应不断增长的企业知识系统的存储需求。

    开源分布式文件系统比较.docx

    然后,MogileFS是一个Perl编写的分布式文件系统,它依赖于MySQL数据库来存储元数据,并提供多种客户端API。虽然MogileFS在某些情况下性能优秀,但由于Perl代码和对FUSE支持的复杂性,可能在某些部署环境中遇到挑战。...

    开源分布式文件系统比较.pdf

    分布式文件系统是一种在多台计算机之间共享存储空间的软件系统,它们通常用于处理大规模数据存储和访问的需求。本篇主要对比分析了五个知名的开源分布式文件系统:CEPH、GlusterFS、MooseFS、MogileFS和FastDFS。 1...

    分布式文件系统介绍

    MogileFS是一种分布式的文件存储系统,其设计初衷是为了解决Web2.0应用程序中的大规模文件存储问题。 **组成部分** - **数据库(MySQL)**:用于存储元数据信息。 - **存储节点**:实际存放文件的地方。 - **...

    分布式文件系统FastDFS架构剖析

    准确地讲,GoogleFS以及FastDFS、mogileFS、HDFS、TFS等类GoogleFS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。FastDFS是为互联网应用量身定做的分布式文件系统,充分考虑了冗余备份、负载均衡...

    分布式文件系统试用比较.docx

    随着信息技术的快速发展和海量数据处理需求的增长,分布式文件系统(Distributed File System, DFS)作为一种能够提供高性能、高可靠性和可扩展性的数据存储解决方案,在众多领域得到了广泛应用。本文将针对几个主流...

    Java高级架构之FastDFS分布式文件集群详解

    4. MogileFS(Mogile分布式文件系统):MogileFS是一个基于Mogile的分布式文件系统,能够提供高性能的文件存储服务。 FastDFS的安装和配置: 1. 安装依赖项:gcc、gcc-c++、make、cmake、libevent等。 2. 下载...

Global site tag (gtag.js) - Google Analytics