`
ol_beta
  • 浏览: 289375 次
  • 性别: Icon_minigender_1
  • 来自: 天津
社区版块
存档分类
最新评论

MooseFS 分布式文件系统介绍与部署

阅读更多

一些概念

Master 用来管理MooseFS。安装master的主机需要稳定,有一定的可用内存,一台服务器即可。

Metalogger master 一些元数据备份。必要时可以恢复数据,至少一台服务器。

Chunkservers 文件块的存储服务,推荐至少有两台服务。

Clients 通过mount访问Chunkservers文件。

详情参考:http://www.moosefs.org/reference-guide.html

MooseFS的优点

  • 通过挂载映射,能像访问本地文件的方式访问文件服务器资源
  • 支持特殊文件(block and character devices, pipes and sockets)
  • 支持热部署,扩展不用停服务
  • 删除文件可以预留一段时间才真正删除

MooseFS工作原理

1. process read


  1. 询问master server要访问的文件在哪个文件服务器
  2. master server回应文件位置
  3. 客户端像chunk server请求数据
  4. chunk server返回数据

2. process write


  1. 客户端向master server询问文件存储位置
  2. master server在每个chunk server上创建数据块用来存储文件
  3. master server通知客户端往某一台chunk server上写数据
  4. 客户端写数据到某一个chunk server
  5. chunk server之间同步数据
  6. chunk server之间数据同步成功
  7. chunk server数据同步成功,返回给客户端
  8. 客户端发终止写信号给master server

线下配置

Master server: dog

Metalogger server: dog

Chunk servers: dog,dev,自己的虚拟机

Users'computer(客户端):dog,自己的虚拟机

安装

线下安装版本mfs-1.6.20-2

安装向导:http://www.moosefs.org/tl_files/manpageszip/moosefs-step-by-step-tutorial-cn-v.1.1.pdf

ubuntu安装fuse可以成功,如果是centos不能安装成功,yum install fuse-devel即可解决问题

部署目录

1. 启动服务

master server 进程: /usr/sbin/mfsmaster start

metalogger 进程: /usr/sbin/mfsmetalogger start

chunk server 进程: /usr/sbin/mfschunkserver start

启动监控:/usr/sbin/mfscgiser

2. 启动客户端

 

#mkdir /mnt/javafiles
#chown -R sankuai:sankuai /mnt/javafiles
#mfsmount /mnt/javafiles -H mfsmaster
#mv -f uploadFiles uploadFiles2
#ln -s /mnt/javafiles uploadFiles
#chown -R sankuai:sankuai uploadFiles
#cp -rf /uploadFiles2/* /mnt/javafiles
#rm -rf /uploadFiles2

 

监视地址:http://dog:9425

设置副本:因为只有2台chunk server 所以设置副本为2

 

#mfssetgoal -r 2 /mnt/javafiles/

还需要的工作

  • 大小: 26.4 KB
  • 大小: 19.1 KB
1
0
分享到:
评论

相关推荐

    MooseFS分布式文件系统调研分析

    MooseFS,简称MFS,是一种可扩展、高...总的来说,MooseFS分布式文件系统通过其精心设计的架构和机制,实现了高效、安全的数据存储和管理。源代码分析可以帮助我们深入理解其内部工作原理,以便更好地优化和维护系统。

    手把手教你安装moosefs分布式文件系统 英文版

    总结,MooseFS分布式文件系统提供了一种高效、可靠的解决方案,适用于大数据处理和高并发场景。通过详细的安装教程和理解其工作原理,你可以有效地部署和管理MFS,充分利用其优势来满足业务需求。

    MooseFS网络分布式文件系统用户手册

    MooseFS是一种网络分布式文件系统,用户可以通过本手册了解如何安装部署和使用MooseFS 3.0版本。用户手册提供了系统架构、工作原理、容错性、平台兼容性等基础知识点,同时提供了对MooseFS系统硬件要求的详细说明,...

    mfs(moosefs)分布式文件系统安装手册

    通过以上步骤,你已经成功安装并配置了MooseFS分布式文件系统。在实际应用中,理解并熟练掌握MooseFS的配置和管理技巧,将有助于提高数据存储的效率和可靠性。阅读提供的PDF手册《mfs文件系统使用手册.pdf》和...

    探索分布式文件系统应用场景的案例.pdf

    在本案例中,提到了多种开源分布式文件系统软件,例如GlusterFS、Lustre、Hadoop分布式文件系统、MooseFS、MFS和Ceph等。这些软件之间的关键区别在于它们的设计理念、性能、功能和使用场景。例如,GlusterFS以其简单...

    Linux+分布式文件系统+Moosefs实施方案

    在Linux上实施MooseFS分布式文件系统,首先需要准备相应的环境。在这个例子中,我们使用的操作系统是CentOS Linux 6.x,MooseFS的版本是2.0.88-1。系统中包括了三种类型的服务器:Metaserver(元数据服务器)、...

    moosefs分布式存储

    MooseFS是一种开源的分布式文件系统,它为用户提供了一种高可靠性和高性能的存储解决方案。它特别适合于需要高性能、可伸缩性和高可用性的应用场景,比如网络服务器、多媒体存储、数据备份和处理大规模数据集等。...

    2009系统架构师大会PPT:田逸:分布式文件系统moosefs

    在2009年系统架构师大会上,田逸介绍了MooseFS这一高可用、可扩展的分布式文件系统。MooseFS作为一款分布式文件系统,其核心优势在于能够有效地解决传统共享文件系统的缺陷,如高可用性不足、读写性能受限以及难以...

    分布式文件系统介绍

    ### 分布式文件系统介绍 #### 一、FastDFS **FastDFS简介** FastDFS是一款由国人基于MogileFS改进而来的轻量级、开源的分布式文件系统。相较于MogileFS,它提供了更好的性能,并针对特定应用场景进行了优化。 **...

    分布式文件系统MFS(moosefs)实现存储共享.doc

    分布式文件系统MFS(moosefs)实现存储共享 分布式文件系统MFS(moosefs)是解决存储共享问题的一种有效方式。随着用户数量的不断增加, traditional NFS 服务器面临着性能问题和单点故障问题。MFS 通过其高可靠性...

    MFS分布式文件系统搭建部署手册

    mooseFS(moose 驼鹿)是一款网络分布式文件系统。它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和...

    MFS(moosefs)分布式文件系统最简单的搭建

    MooseFS(即Moose File System,简称MFS)是一个具有容错性的网络分布式文件系统,它将数据分散存放在多个物理服务器或单独磁盘或分区上,确保一份数据 有多个备份副本,对于访问MFS的客户端或者用户来说,整个分布式...

    开源分布式文件系统比较.pdf

    本篇主要对比分析了五个知名的开源分布式文件系统:CEPH、GlusterFS、MooseFS、MogileFS和FastDFS。 1. **CEPH**: Ceph是一款高性能的开源分布式存储系统,其核心特点在于其创新的CRUSH算法。CRUSH(Controlled ...

    MooseFS –开源,PB,容错,高性能,可扩展的网络分布式文件系统-Linux开发

    MooseFS是Petabyte开源网络分布式文件系统。 它易于部署和维护,高度可靠,容错,高性能,易于扩展且符合POSIX。 MooseFS – PB分布式文件系统MooseFS是PB开源网络分布式文件系统。 它易于部署和维护,高度可靠,...

Global site tag (gtag.js) - Google Analytics