`
s929498110
  • 浏览: 106574 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

MFS(可能比HDFS更好的文件系统)开工了~~~

 
阅读更多

名称:暂命名为Magic File System(MFS)


思路:吸取HDFS的优良设计原理,尽最大可能改良其弱点软肋。此文件系统的设计思路与HDFS有关,但是并非HDFS的衍生品,本人也尚未阅读HDFS源码。可能做到的改良以及兼容有如下几方面:

  1. 无限制的文件块数量。
  2. 采用更小更多的文件块,从而加快大文件读取。
  3. 理论上可存储无限数量的不分大小文件(前提是存储空间足够)
  4. 摒弃NameNode,所有节点可提供文件存储和文件读写功能
  5. 采用算法(Secret)可以在茫茫万计的服务器集群中精确定位特定文件所在位置,以及其副本位置。文件读取不受集群规模影响,甚至集群越大,大文件读取速度越快。
  6. 节点在宕机或添加之后,集群中会出现文件块流动从而均衡各个节点中的文件数量。若集群规模超大时,宕机可能会频繁发生。考虑此文件系统不需要对宕机事件迅速做出反应,只需要每隔一定时间再进行节点均衡即可(期间有备用文件块可用)。
  7. 当有新节点添加时,此节点默认为不可靠状态。此期间会有许多文件块流入此节点,直到文件流动完成,此节点就变为可靠状态正式融入集群。

语言:因为本人两年来对Java研究略深,故采用Java实现此文件系统(性能瓶颈主要在文件IO和网络IO上,与语言无关)。


备注:我对Magic有特殊喜好,因此就以Magic命名。此文件系统我已心中构思近一个月,如今终于成型。技术难点也均有解决办法,现在开始着手实现,希望不会有新的拦路虎!

分享到:
评论

相关推荐

    MFS分布式文件系统

    MFS分布式文件系统 在这篇文章中,我们将详细介绍MFS分布式文件系统的原理、架构、组成部分、读取和写入数据的处理过程、搭建Master Server、MetaLogger Server、Chunk Server和客户端配置等知识点。 分布式文件...

    MFS文件系统使用手册1

    MFS文件系统使用手册 MFS文件系统是一种高可用、可扩展的分布式文件系统,主要用于大规模数据存储和共享。下面是对MFS文件系统使用手册的详细解释: 客户端的IP地址 在MFS文件系统中,客户端的IP地址是指客户机的...

    mfs分布式文件系统--安装使用详细手册 moosefs

    使用MFS 文件系统来存储和访问的主机称为MFS 的客户端,成功挂接MFS 文件系统以后,就可以像以前使用NFS 一样共享这个虚拟性的存储了。 元数据服务器安装和配置 元数据服务器可以是linux,也可以是unix,你可以根据...

    文件存储服务FastDFS-mfs

    文件存储服务FastDFS-mfs是一种高效、轻量级的分布式文件系统,专为解决大型互联网应用中的海量文件存储问题而设计。它具有高可用性、高性能、易扩展和低资源消耗等特点,是许多企业级应用的首选解决方案。 FastDFS...

    MFS.rar_mfs_mini file syst_mini file system_微型文件系统

    **微型文件系统(MFS)概述** 微型文件系统(Mini File System,简称MFS)是一种简单易用的文件系统,通常用于教学或实验目的。它由C语言编写,旨在帮助学习者理解文件系统的基本概念和操作,如文件的创建、读取、...

    FreeBSD下建立MFS分布式文件系统

    ### FreeBSD下建立MFS分布式文件系统详解 #### 一、MFS文件系统简介 Moose File System (MFS) 是一种分布式文件系统,其主要特点在于能够实现数据在网络中的多个服务器上分布存储,并且具备良好的容错机制。通过...

    MFS分布式文件系统搭建部署手册

    mooseFS(moose 驼鹿)是一款...MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时间),可以创建特殊的文件(块设备,字符设备,管道,套接字),符号链接,硬链接。

    MFS分布式文件系统部署方案

    MFS分布式文件系统部署方案,主要包括系统设计、安装、维护等内容

    分布式文件系统MFS(moosefs)实现存储共享.doc

    分布式文件系统MFS,全称MooseFS,是一种设计用于解决大规模存储需求的高可用、可扩展的文件系统。在传统的NFS(Network File System)系统中,单一的服务器为多个客户端提供服务,可能导致服务器负载过高,从而影响...

    企业实用-CentOS 7搭建MFS网络分布式文件系统.docx

    【企业实用-CentOS 7搭建MFS网络分布式文件系统】 MFS,全称为Moose File System,是一种网络分布式文件系统,旨在提供高可用性、容错性和可扩展性。在MFS中,数据被分散地存储在多个物理服务器上,用户通过统一的...

    mfs-1.6.27-5.tar.gz

    《mfs:轻量级文件系统与mfs-1.6.27-5.tar.gz详解》 在信息技术领域,文件系统(File System)扮演着至关重要的角色,它负责管理和组织计算机上的数据存储,使用户能够高效地访问和管理文件。mfs(Memory File ...

    mfs(moosefs)分布式文件系统安装手册

    **mfs(MooseFS)分布式文件系统安装手册** MooseFS,简称mfs,是一种高性能、可伸缩、容错性强的分布式文件系统。它将数据分散存储在多个服务器上,提供高可用性和可扩展性,适用于大数据处理、云计算环境以及需要...

    mfs安装教程

    Fuse是一个基于用户空间的文件系统,mfs依赖于Fuse来挂载文件系统。在安装mfs之前,需要先安装Fuse。安装Fuse的步骤如下: * 解压Fuse的安装包:`tar -xzvf fuse-2.7.3.tar.gz` * 进入Fuse的安装目录:`cd fuse-...

    第四十八章:MFS分布式文件系统1

    【MFS 分布式文件系统】(Moose File System)是一种具体实现分布式文件系统的技术。MFS 以其容错性、轻量级部署、易扩展性和通用性而受到关注。它允许用户在不修改上层应用的情况下直接使用,简化了系统集成。MFS ...

Global site tag (gtag.js) - Google Analytics