`
shake863
  • 浏览: 661453 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

mogileFS分布式文件存储解决方案

阅读更多


mogileFS是一个分布式文件存储的解决方案,他由Six Apart开发下面列出了他的一些特性(由mogileFS页面http://www.danga.com/mogilefs/ 介绍翻译而来)

  • 应用层——不需要特殊的核心组件
  • 无单点失败——MogileFS安装的三个组件(存储节点、跟踪器、跟踪用的数据库),均可运行在多个 机器上,因此没有单点失败。(你也可以将跟踪器和存储节点运行在同一台机器上,这样你就没有必要用4台机器)推荐至少两台机器。
  • 自 动的文件复制——基于不同的文件“分类”,文件可以被自动的复制到多个有足够存储空间的存储节点上,这样可以满足这个“类别”的最少复制要求。比如你有一 个图片网站,你可以设置原始的JPEG图片需要复制 至少三份,但实际只有1or2份拷贝,如果丢失了数据,那么Mogile可以重新建立遗失的拷贝数。用这种办法,MogileFS(不做RAID)可以节 约 磁盘,否则你将存储同样的拷贝多份,完全没有必要。
  • “比RAID好多了”——在一个非存储区域网络的RAID(non-SAN RAID)的建立中,磁盘是冗余的,但主机不是,如果你整个机器坏了,那么文件也将不能访问。 MogileFS在不同的机器之间进行文件复制,因此文件始终是可用的。
  • 传输中立,无特殊协议——MogileFS客户端可以通过NFS或HTTP来和MogileFS的存储节点来通信,但首先需要告知跟踪器一下。
  • 简单的命名空间——文件通过一个给定的key来确定,是一个全局的命名空间。你可以自己生成多个命名空间,只要你愿意,不过这样可能在同一MogileFS中会造成key冲突。
  • 不用共享任何东西——MogileFS不需要依靠昂贵的SAN来共享磁盘,每个机器只用维护好自己的磁盘。
  • 不需要RAID——在MogileFS中的磁盘可以是做了RAID的也可以是没有,如果是为了安全性着想的话RAID没有必要买了,因为MogileFS已经提供了。
  • 不会碰到文件系统本身的不可知情况——在MogileFS中的存储节点的磁盘可以被格式化成多种格式(ext3,reiserFS等等)。MogilesFS会做自己内部目录的哈希,所以它不会碰到文件系统本身的一些限制,比如一个目录中的最大文件数。你可以放心的使用。

Mogilefs 的网站地址(http:// www.danga.com /mogilefs )

php 扩展 的地址(http://www.capoune.net/mogilefs/ )提供了一个php扩展用来在php中使用mogileFS。
这儿也有一个地址,svn的源码库 http://svn.usrportage.de/php-mogilefs/trunk/

mogileFS 安装步骤( http://durrett.net/mogilefs_setup.html
mogileFS 使用perl 编写的,在安装前你应该先安装好perl。同时mogileFS也需要一个数据库用来保存文件数据的跟踪信息(目前好像可以使用MySQL推荐 , SQLite,Oracle,Postsql)。

这儿有一个兄弟的中文安装学习笔记 mogileFS学习

mogileFS 适合于静态存储,就是那种一次保存,多次读取型的资源,比如以html方式静态化处理的动态文件,图片文件,其他只提供下载的文件等。

分享到:
评论
2 楼 cppupu 2009-08-21  
布置 perl 写的分布式文件系统性能是否能够达到要求,但是可以直接使用NFS挂载还是很吸引人的,多数应用不需要修改了
1 楼 tdwm 2008-09-22  
我是一个新手,在虚拟机上自己安装了mogilefs,我在windows在作业,怎么调用虚拟机上的mogilefs功能呢?曾经看到有人说用curl,但是怎么处理呢?

相关推荐

    Nginx反代Mogilefs分布式储存示例详解

    综上所述,Nginx反向代理MogileFS分布式存储系统的部署和配置,涵盖了从分布式存储概念的理解,到系统架构的搭建,再到实际应用层面的细节处理。整个过程需要对Nginx、MogileFS、MySQL和系统安装等各方面有较为全面...

    分布式文件系统安装教程

    MogileFS 可以将多个文件系统组合成一个逻辑文件系统,提供了一种灵活的存储解决方案。 RESTful 客户端是 MogileFS 的一种客户端实现,使用 RESTful 风格提供了简洁易用的 API 接口,方便用户管理和维护 MogileFS ...

    构建分布式文件存储[定义].pdf

    分布式文件存储是一种解决方案,用于处理超出单台计算机存储能力的大规模数据存储需求。当面对TB级别的数据时,传统的单机存储系统无法满足,因此需要构建一个分布式的系统,将数据分散存储在多台独立的服务器上,...

    分布式文件系统选型分析.docx

    Ceph是一个统一的、高性能的分布式存储系统,不仅支持文件系统,还提供对象存储和块设备服务。Ceph以其强大的弹性、高可用性和故障恢复能力而闻名,但配置和管理相对复杂。 在选择分布式文件系统时,应根据实际需求...

    使用Mogilefs做海量图片的分布式存储 安装配置.doc

    MogileFS提供了一种高效且经济的分布式存储解决方案,适用于处理海量图片等静态文件。其架构设计考虑了高可用性和可扩展性,通过特定的API实现了与应用程序的集成。虽然需要一定的配置和程序修改,但对于需要处理...

    开源分布式文件系统比较.docx

    分布式文件系统是现代大数据处理和云计算环境中不可或缺的一部分,它们提供了高效、可扩展的存储解决方案。在本文中,我们将探讨几个开源的分布式文件系统,包括Ceph、GlusterFS、MogileFS和FastDFS,以及它们的特点...

    分布式文件系统介绍

    Ceph在分布式存储领域占据着重要的地位,未来将继续发展成为更加成熟稳定的解决方案。 #### 八、其他分布式文件系统 除了上述几种分布式文件系统外,还有许多其他的分布式文件系统,如GlusterFS、Lustre等,它们...

    分布式文件系统试用比较.docx

    随着信息技术的快速发展和海量数据处理需求的增长,分布式文件系统(Distributed File System, DFS)作为一种能够提供高性能、高可靠性和可扩展性的数据存储解决方案,在众多领域得到了广泛应用。本文将针对几个主流...

    FastDFS 分布式存储 实战

    尽管存在一些缺点,FastDFS因其简洁的设计、高效的性能以及良好的社区支持,仍然是一个值得推荐的分布式存储解决方案。对于那些寻求高性价比、高性能和高可用性的存储系统的企业或开发者来说,FastDFS无疑是一个不错...

    Nginx+MogileFS

    ### Nginx与MogileFS结合的关键技术点分析 #### 一、MogileFS分布式文件系统的特性 MogileFS是一种分布式文件系统,它能够有效地...通过合理配置这些组件,可以在实际生产环境中构建出高效可靠的分布式存储解决方案。

    私塾在线 高级java软件架构师实战培训视频教程 阶段一 代码及目录 134-141 讲 共148讲

    通过这个阶段的学习,学员不仅能够掌握MogileFS的核心技术和使用方法,还能了解到如何在Java环境下构建和优化分布式存储解决方案。这将为他们成为高级Java软件架构师的道路上打下坚实的基础,提升他们在大型项目中的...

    MogileFS原理和架构介绍

    ### MogileFS 实现原理与架构详解 #### 一、MogileFS 概述 MogileFS 是一套开源的分布式存储系统,主要用于高效存储...无论是对于海量小文件的存储还是对高可用性的需求,MogileFS 都提供了可靠且灵活的解决方案。

    FastDFS分布式存储实战

    传统的存储解决方案(如Rsync、DAS、NAS、SAN等)虽然在某些场景下仍然适用,但随着数据量的爆炸性增长以及对数据访问速度的需求提升,分布式存储系统逐渐成为了主流选择。 **FastDFS**作为一款开源的轻量级分布式...

    FastDFS分布式存储实战.pdf

    传统的存储解决方案如Rsync、DAS(包括IDE/SATA/SAS/SCSI等块设备)、NAS(支持NFS/CIFS/SAMBA等文件系统)以及SAN(如FibreChannel、iSCSI、FoE存储网络块)虽然能够满足一定的需求,但对于大规模数据存储和处理...

    MySQL-5.6.37-MogileFS的相关依赖包

    这些依赖包提供了必要的工具和资源,使开发者能够构建高效、可靠的分布式文件存储解决方案。在实际操作中,一定要仔细阅读文档,确保所有组件正确配置和工作,以便充分利用这两个强大系统的功能。

    MogileFS与FastDFS

    MogileFS和FastDFS均是优秀的分布式文件系统解决方案,但在具体应用场景和技术细节上有所区别: - **MogileFS**更加注重元数据管理和跟踪器的功能扩展,适合对文件元数据有较高要求的应用场景。 - **FastDFS**则更...

    分布式架构学习路线1

    分布式Session解决方案如Redis、Memcached或特定的Session管理库,将Session数据存储在集中式存储中,确保所有服务器都能访问。 总结来说,分布式架构的学习路线涵盖了多个核心组件和技术,旨在构建可扩展、健壮和...

    mofilefs系统的安装

    ### MogileFS分布式文件系统详解及安装配置 #### 一、MogileFS概述 MogileFS是一种高效的分布式文件存储...MogileFS提供了一个灵活、高效、可靠的分布式文件存储解决方案,特别适合于处理大规模的静态文件存储需求。

    MogileFS-Plugin-Migrate:MogileFS插件,用于跨域移动文件

    **MogileFS-Plugin-Migrate 插件详解** MogileFS-Plugin-Migrate 是一个基于 ...利用 Perl 语言的灵活性和 MogileFS 的分布式特性,该插件为企业提供了高效的数据管理解决方案,适应了现代数据中心不断变化的需求。

    FastDFS教程

    综上所述,FastDFS教程详细介绍了分布式文件系统FastDFS的基本概念、架构组成、特性应用、优缺点比较以及在实际部署和使用中可能遇到的一些问题和解决方案。这对于想要深入了解和应用FastDFS的技术人员来说是一份...

Global site tag (gtag.js) - Google Analytics