FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、mogileFS、HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 FastDFS的设计理念 FastDFS是为互联网应用量身定做的分布式文件系统,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标。和现有的类Google FS分布式文件系统相比,FastDFS的架构和设计理念有其独到之处,主要体现在轻量级、分组方式和对等结构三个方面。 轻量级 FastDFS只有两个角色:Tracker server和Storage server。Tracker server作为中心结点,其主要作用是负载均衡和调度。Tracker server在内存中记录分组和Storage server的状态等信息,不记录文件索引信息,占用的内存量很少。另外,客户端(应用)和Storage server访问Tracker server时,Tracker server扫描内存中的分组和Storage server信息,然后给出应答。由此可以看出Tracker server非常轻量化,不会成为系统瓶颈。 FastDFS中的Storage server在其他文件系统中通常称作Trunk server或Data server。Storage server直接利用OS的文件系统存储文件。FastDFS不会对文件进行分块存储,客户端上传的文件和Storage server上的文件一一对应。 众所周知,大多数网站都需要存储用户上传的文件,如图片、视频、电子文档等。出于降低带宽和存储成本的考虑,网站通常都会限制用户上传的文件大小,例如图片文件不能超过5MB、视频文件不能超过100MB等。我认为,对于互联网应用,文件分块存储没有多大的必要。它既没有带来多大的好处,又增加了系统的复杂性。FastDFS不对文件进行分块存储,与支持文件分块存储的DFS相比,更加简洁高效,并且完全能满足绝大多数互联网应用的实际需要。 在FastDFS中,客户端上传文件时,文件ID不是由客户端指定,而是由Storage server生成后返回给客户端的。文件ID中包含了组名、文件相对路径和文件名,Storage server可以根据文件ID直接定位到文件。因此FastDFS集群中根本不需要存储文件索引信息,这是FastDFS比较轻量级的一个例证。而其他文件系统则需要存储文件索引信息,这样的角色通常称作NameServer。其中mogileFS采用MySQL数据库来存储文件索引以及系统相关的信息,其局限性显而易见,MySQL将成为整个系统的瓶颈。 FastDFS轻量级的另外一个体现是代码量较小。最新的V2.0包括了C客户端API、FastDHT客户端API和PHP extension等,代码行数不到5.2万行。 分组方式 类Google FS都支持文件冗余备份,例如Google FS、TFS的备份数是3。一个文件存储到哪几个存储结点,通常采用动态分配的方式。采用这种方式,一个文件存储到的结点是不确定的。举例说明,文件备份数是3,集群中有A、B、C、D四个存储结点。文件1可能存储在A、B、C三个结点,文件2可能存储在B、C、D三个结点,文件3可能存储在A、B、D三个结点。 FastDFS采用了分组存储方式。集群由一个或多个组构成,集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成,同组内的多台Storage server之间是互备关系,同组存储服务器上的文件是完全一致的。文件上传、下载、删除等操作可以在组内任意一台Storage server上进行。类似木桶短板效应,一个组的存储容量为该组内存储服务器容量最小的那个,由此可见组内存储服务器的软硬件配置最好是一致的。 采用分组存储方式的好处是灵活、可控性较强。比如上传文件时,可以由客户端直接指定上传到的组。一个分组的存储服务器访问压力较大时,可以在该组增加存储服务器来扩充服务能力(纵向扩容)。当系统容量不足时,可以增加组来扩充存储容量(横向扩容)。采用这样的分组存储方式,可以使用FastDFS对文件进行管理,使用主流的Web server如Apache、nginx等进行文件下载。 对等结构 FastDFS集群中的Tracker server也可以有多台,Tracker server和Storage server均不存在单点问题。Tracker server之间是对等关系,组内的Storage server之间也是对等关系。传统的Master-Slave结构中的Master是单点,写操作仅针对Master。如果Master失效,需要将Slave提升为Master,实现逻辑会比较复杂。和Master-Slave结构相比,对等结构中所有结点的地位是相同的,每个结点都是Master,不存在单点问题。 FastDFS的架构 图1展示的是FastDFS的系统架构。 从图1可以看出,Tracker server之间相互独立,不存在直接联系。 客户端和Storage server主动连接Tracker server。Storage server主动向Tracker server报告其状态信息,包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。Storage server会连接集群中所有的Tracker server,向他们报告自己的状态。Storage server启动一个单独的线程来完成对一台Tracker server的连接和定时报告。需要说明的是,一个组包含的Storage server不是通过配置文件设定的,而是通过Tracker server获取到的。 不同组的Storage server之间不会相互通信,同组内的Storage server之间会相互连接进行文件同步。 Storage server采用binlog文件记录文件上传、删除等更新操作。binlog中只记录文件名,不记录文件内容。 文件同步只在同组内的Storage server之间进行,采用push方式,即源头服务器同步给目标服务器。只有源头数据才需要同步,备份数据并不需要再次同步,否则就构成环路了。有个例外,就是新增加一台Storage server时,由已有的一台Storage server将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。 Storage server中由专门的线程根据binlog进行文件同步。为了最大程度地避免相互影响以及出于系统简洁性考虑,Storage server对组内除自己以外的每台服务器都会启动一个线程来进行文件同步。 文件同步采用增量同步方式,系统记录已同步的位置(binlog文件偏移量)到标识文件中。标识文件名格式:{dest storage IP}_{port}.mark,例如:192.168.1.14_23000.mark。 文件上传和下载的交互过程 接下来我们一起看一下文件上传和下载的交互过程。文件上传和下载流程分别如图2、图3所示。文件上传流程的步骤如下: 1. Client询问Tracker server上传到的Storage server; 2. Tracker server返回一台可用的Storage server,返回的数据为该Storage server的IP地址和端口; 3. Client直接和该Storage server建立连接,进行文件上传,Storage server返回新生成的文件ID,文件上传结束。 文件下载流程的步骤如下: 1. Client询问Tracker server可以下载指定文件的Storage server,参数为文件ID(包含组名和文件名); 2. Tracker server返回一台可用的Storage server; 3. Client直接和该Storage server建立连接,完成文件下载。 文件同步延迟问题的提出 客户端将一个文件上传到一台Storage server后,文件上传工作就结束了。由该Storage server根据binlog中的上传记录将这个文件同步到同组的其他Storage server。这样的文件同步方式是异步方式,异步方式带来了文件同步延迟的问题。新上传文件后,在尚未被同步过去的Storage server上访问该文件,会出现找不到文件的现象。FastDFS是如何解决文件同步延迟这个问题的呢? 文件的访问分为两种情况:文件更新和文件下载。文件更新包括设置文件附加属性和删除文件。文件的附加属性包括文件大小、图片宽度、图片高度等。FastDFS中,文件更新操作都会优先选择源Storage server,也就是该文件被上传到的那台Storage server。这样的做法不仅避免了文件同步延迟的问题,而且有效地避免了在多台Storage server上更新同一文件可能引起的时序错乱的问题。 那么文件下载是如何解决文件同步延迟这个问题的呢? 要回答这个问题,需要先了解文件名中包含了什么样的信息。Storage server生成的文件名中,包含了源Storage server的IP地址和文件创建时间等字段。文件创建时间为UNIX时间戳,后面称为文件时间戳。从文件名或文件ID中,可以反解出这两个字段。 然后我们再来看一下,Tracker server是如何准确地知道一个文件已被同步到一台Storage server上的。前面已经讲过,文件同步采用主动推送的方式。另外,每台storage server都会定时向tracker server报告它向同组的其他storage server同步到的文件时间戳。当tracker server收到一台storage server的文件同步报告后,它会依次找出该组内各个storage server(后称作为S)被同步到的文件时间戳最小值,作为S的一个属性记录到内存中。 FastDFS对文件同步延迟问题的解决方案 下面我们来看一下FastDFS采取的解决方法。 一个最简单的解决办法,和文件更新一样,优先选择源Storage server下载文件即可。这可以在Tracker server的配置文件中设置,对应的参数名为download_server。 另外一种选择Storage server的方法是轮流选择(round-robin)。当Client询问Tracker server有哪些Storage server可以下载指定文件时,Tracker server返回满足如下四个条件之一的Storage server: 结束语 看了上面的介绍,你是否认为FastDFS比较简洁高效呢?原雅虎同事——一位比较资深的系统架构师听完FastDFS介绍后,作出这样的评价:“FastDFS是穷人的解决方案”。他的意思是说FastDFS把简洁和高效做到了极致,非常节约资源,中小网站完全用得起,这是对FastDFS的极大认可和褒奖。 FastDFS从2008年7月发布至今,已推出31个版本,后续完善和优化工作正在持续进行中。目前已有多家公司在生产环境中使用FastDFS,相信通过我们的不懈努力,FastDFS一定会越来越好!
发表评论
-
四层和七层负载均衡的区别
2015-03-13 13:27 365(一) 简单理解四层和七层负载均衡: ① 所 ... -
Solr搜索服务架构图
2013-02-21 18:33 1361... -
Spring多数据源的配置和使用
2012-09-12 17:27 1075Spring多数据源的配置和使用 最近开 ... -
Java多播通讯框架 JGroups
2012-08-20 12:10 1321Java多播通讯框架 JGroups JGroups ... -
Terrocotta - 基于JVM的Java应用集群解决方案
2012-08-17 11:14 917Terrocotta - 基于JVM的Java ... -
MongoDB基本管理命令
2012-08-16 10:23 860MongoDB基本管理命令 MongoDB是一个NoSQ ... -
hessian demo和hessian与spring整合demo
2012-08-13 11:52 1640hessian demo和hessian与spring ... -
C++著名程序库的比较和学习经验
2012-07-25 10:35 734C++著名程序库的比较和学习经验 内容目录:1、C++各 ... -
Lucene和HBase的集成
2012-07-05 14:19 680Lucene和HBase的集成 ... -
可伸缩性最佳实践:来自eBay的经验
2012-07-05 08:53 702可伸缩性最佳实践: ... -
各种java序列化工具性能对比
2012-07-04 13:16 1751各种java序列化工具性能对比 看到一个很不错的工具ht ... -
深入探讨 Java 类加载器
2012-07-03 17:32 642深入探讨 Java 类加载 ... -
Servlet 工作原理解析
2012-06-27 15:05 707Servlet 工作原理解析 简介: Web 技 ... -
HTTP协议header头域
2012-06-27 10:04 911HTTP(HyperTextTransferPr ... -
深入研究Servlet线程安全性问题
2012-06-21 13:49 0摘 要:介绍了Servlet多 ... -
Java类加载原理解析
2012-06-12 13:33 594Java类加载原理解析 ... -
ffmpeg源码及相关开发资料下载,好文章积攒
2012-06-04 16:12 736FFMpeg0.6版源码下载:来自:http://sour ... -
NoSQL数据库探讨
2012-05-24 09:16 543随着互联网web2.0网站的兴起,非关系型的数据库现在成了一个 ... -
用nosql轻松打造千万级数据量的微博系统
2012-05-23 11:38 853其实微博是一个结构相对简单,但数据量却是很庞大的一种产品. ...
相关推荐
分布式文件系统FastDFS架构剖析及配置优化是作者对分布式文件系统FastDFS优化建议
FastDFS与现有的类似GoogleFS的分布式文件系统相比,其架构和设计理念具有独特之处,主要表现在以下三个方面:轻量级、分组方式和对等结构。 首先,轻量级是FastDFS的一个重要特点。FastDFS仅包含两个角色:Tracker...
FastDFS是一款开源的轻量级分布式文件系统 纯C实现,支持Linux、FreeBSD等UNIX系统 类google FS,不是通用的文件系统,只能通过专有API访问,目前提供了C、Java和PHP API 为互联网应用量身定做,解决大容量文件存储...
在本项目中,"SpringBoot 结合分布式文件系统FastDFS实现文件上传" 是一个典型的Java Web应用程序,旨在帮助学习者了解并实践软件开发流程。这个系统利用了SpringBoot框架的强大功能,结合FastDFS这一高效的分布式...
在本项目中,"SpringBoot 结合分布式文件系统FastDFS实现文件上传实例demo2.zip",我们...同时,通过这种方式,也能让学生熟悉SpringBoot的微服务架构和FastDFS的分布式文件系统特性,为今后的开发工作打下坚实基础。
fastdfs_client; fastdfs_client_java._v1.25.tar.gz; ...分布式文件系统FastDFS架构剖析及配置优化.pdf; FASTdfs-入门-1.0.docx; 分布式存储 CentOS6.5虚拟机环境搭建FastDFS-5.0.5集群.pdf;
### FastDFS 分布式文件系统分析 #### 一、FastDFS 概述 **FastDFS** 是一款基于 C 语言开发的开源分布式文件系统,专为互联网应用设计,旨在提供高性能、高可用性的文件存储解决方案。它具备冗余备份、负载均衡及...
### FastDFS 分布式文件系统概述 #### 一、FastDFS简介 FastDFS是一个开源的、轻量级的分布式文件系统,主要用于文件管理和文件访问。它由C语言编写,能够很好地支持大规模的数据存储需求,特别是在文件作为核心...
《FastDFS分布式文件系统详解与应用》 FastDFS是一款开源的高性能、轻量级的分布式文件系统,由国人开发,专为互联网应用设计,尤其适用于存储海量小文件。FastDFS的最新版本为v6.12.0,该版本在前作的基础上进行了...
分布式文件系统(Distributed File System,简称DFS)是一种允许文件系统管理的物理存储资源不直接连接在本地节点上,而是通过计算机...通过对这些系统的比较和分析,可以决定最适合特定应用的分布式文件系统实现方式。
分布式文件系统对于云计算、大数据分析、实时数据处理等场景至关重要。 从提供的文件内容看,目前市场上存在多种应用级分布式文件系统,例如HDFS(Hadoop Distributed File System)、MogileFS、FastDFS、GFS...