一些概念
Master 用来管理MooseFS。安装master的主机需要稳定,有一定的可用内存,一台服务器即可。
Metalogger master 一些元数据备份。必要时可以恢复数据,至少一台服务器。
Chunkservers 文件块的存储服务,推荐至少有两台服务。
Clients 通过mount访问Chunkservers文件。
详情参考:http://www.moosefs.org/reference-guide.html
MooseFS的优点
- 通过挂载映射,能像访问本地文件的方式访问文件服务器资源
- 支持特殊文件(block and character devices, pipes and sockets)
- 支持热部署,扩展不用停服务
- 删除文件可以预留一段时间才真正删除
MooseFS工作原理
1. process read
- 询问master server要访问的文件在哪个文件服务器
- master server回应文件位置
- 客户端像chunk server请求数据
- chunk server返回数据
2. process write
- 客户端向master server询问文件存储位置
- master server在每个chunk server上创建数据块用来存储文件
- master server通知客户端往某一台chunk server上写数据
- 客户端写数据到某一个chunk server
- chunk server之间同步数据
- chunk server之间数据同步成功
- chunk server数据同步成功,返回给客户端
- 客户端发终止写信号给master server
线下配置
Master server: dog
Metalogger server: dog
Chunk servers: dog,dev,自己的虚拟机
Users'computer(客户端):dog,自己的虚拟机
安装
线下安装版本mfs-1.6.20-2
安装向导:http://www.moosefs.org/tl_files/manpageszip/moosefs-step-by-step-tutorial-cn-v.1.1.pdf
ubuntu安装fuse可以成功,如果是centos不能安装成功,yum install fuse-devel即可解决问题。
部署目录
1. 启动服务:
master server 进程: /usr/sbin/mfsmaster start
metalogger 进程: /usr/sbin/mfsmetalogger start
chunk server 进程: /usr/sbin/mfschunkserver start
启动监控:/usr/sbin/mfscgiser
2. 启动客户端
#mkdir /mnt/javafiles
#chown -R sankuai:sankuai /mnt/javafiles
#mfsmount /mnt/javafiles -H mfsmaster
#mv -f uploadFiles uploadFiles2
#ln -s /mnt/javafiles uploadFiles
#chown -R sankuai:sankuai uploadFiles
#cp -rf /uploadFiles2/* /mnt/javafiles
#rm -rf /uploadFiles2
监视地址:http://dog:9425
设置副本:因为只有2台chunk server 所以设置副本为2
#mfssetgoal -r 2 /mnt/javafiles/
还需要的工作
- 大小: 26.4 KB
- 大小: 19.1 KB
分享到:
相关推荐
MooseFS,简称MFS,是一种可扩展、高...总的来说,MooseFS分布式文件系统通过其精心设计的架构和机制,实现了高效、安全的数据存储和管理。源代码分析可以帮助我们深入理解其内部工作原理,以便更好地优化和维护系统。
总结,MooseFS分布式文件系统提供了一种高效、可靠的解决方案,适用于大数据处理和高并发场景。通过详细的安装教程和理解其工作原理,你可以有效地部署和管理MFS,充分利用其优势来满足业务需求。
MooseFS是一种网络分布式文件系统,用户可以通过本手册了解如何安装部署和使用MooseFS 3.0版本。用户手册提供了系统架构、工作原理、容错性、平台兼容性等基础知识点,同时提供了对MooseFS系统硬件要求的详细说明,...
通过以上步骤,你已经成功安装并配置了MooseFS分布式文件系统。在实际应用中,理解并熟练掌握MooseFS的配置和管理技巧,将有助于提高数据存储的效率和可靠性。阅读提供的PDF手册《mfs文件系统使用手册.pdf》和...
在本案例中,提到了多种开源分布式文件系统软件,例如GlusterFS、Lustre、Hadoop分布式文件系统、MooseFS、MFS和Ceph等。这些软件之间的关键区别在于它们的设计理念、性能、功能和使用场景。例如,GlusterFS以其简单...
在Linux上实施MooseFS分布式文件系统,首先需要准备相应的环境。在这个例子中,我们使用的操作系统是CentOS Linux 6.x,MooseFS的版本是2.0.88-1。系统中包括了三种类型的服务器:Metaserver(元数据服务器)、...
MooseFS是一种开源的分布式文件系统,它为用户提供了一种高可靠性和高性能的存储解决方案。它特别适合于需要高性能、可伸缩性和高可用性的应用场景,比如网络服务器、多媒体存储、数据备份和处理大规模数据集等。...
在2009年系统架构师大会上,田逸介绍了MooseFS这一高可用、可扩展的分布式文件系统。MooseFS作为一款分布式文件系统,其核心优势在于能够有效地解决传统共享文件系统的缺陷,如高可用性不足、读写性能受限以及难以...
### 分布式文件系统介绍 #### 一、FastDFS **FastDFS简介** FastDFS是一款由国人基于MogileFS改进而来的轻量级、开源的分布式文件系统。相较于MogileFS,它提供了更好的性能,并针对特定应用场景进行了优化。 **...
分布式文件系统MFS(moosefs)实现存储共享 分布式文件系统MFS(moosefs)是解决存储共享问题的一种有效方式。随着用户数量的不断增加, traditional NFS 服务器面临着性能问题和单点故障问题。MFS 通过其高可靠性...
mooseFS(moose 驼鹿)是一款网络分布式文件系统。它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和...
MooseFS(即Moose File System,简称MFS)是一个具有容错性的网络分布式文件系统,它将数据分散存放在多个物理服务器或单独磁盘或分区上,确保一份数据 有多个备份副本,对于访问MFS的客户端或者用户来说,整个分布式...
本篇主要对比分析了五个知名的开源分布式文件系统:CEPH、GlusterFS、MooseFS、MogileFS和FastDFS。 1. **CEPH**: Ceph是一款高性能的开源分布式存储系统,其核心特点在于其创新的CRUSH算法。CRUSH(Controlled ...
MooseFS是Petabyte开源网络分布式文件系统。 它易于部署和维护,高度可靠,容错,高性能,易于扩展且符合POSIX。 MooseFS – PB分布式文件系统MooseFS是PB开源网络分布式文件系统。 它易于部署和维护,高度可靠,...