`
cfyme
  • 浏览: 275084 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

GFS的系统架构

 
阅读更多

GFS的系统架构

 

刘鹏《云计算(第二版)》

 

①~⑤是控制流,⑥是数据流

Client: 应用程序的访问接口

Master(主服务器):管理节点在逻辑上只有一个,保存系统的元数据(Metadata,描述数据的数据),负责整个文件系统的管理。

Chunk Server(数据库服务器):负责具体的存储工作。数据以文件的形式存储在Chunk Server上。

 

架构设计成这样的好处是:

1、Client和Master之间只有控制流(①~⑤),没有数据流,因此降低了Master的负载 (因为控制流只需传送指令和状态,数据量小

2、Client与Chunk Server之间直接传输数据流,同时由于文件被分成多个chunk进行分布式存储,因此Client可以同时并行访问多个Chunk Server,从而让系统的I/O并行度提高

 

GFS的特点:

1、采用中心服务器模式

好处是:(1)可以方便的增加Chunk Server

    (2)Master可以掌握系统内所有Chunk Server的情况,方便进行负载均衡

    (3)不存在元数据的一致性问题(因为只有一个中心server,所以云数据也只有一份

2、不缓存数据(没有系统cache

好处是:(1)文件操作大部分是流式读写,不存在大量重复的读写,因此即使使用cache对系统性能的提高也不大

    (2)Chunk Server上的数据存储在本地文件系统上(Linux File System),若真的出现频繁存取,那么本地文件系统的cache也可以支持

    (3)若建立系统cache,那么cache中的数据与Chunk Server中的数据的一致性很难保证

 

思考:

GFS采用中心服务器的模式,该模式的最大优点是便于管理,因为中心服务器可以获知所有子服务器的状态,因而可以很方便的得知各个子服务器的负载状况等。但是这一模式也有一个比较致命的缺点,那就是单点故障。当单点故障发生在中心服务器时,将导致整个系统的不可用。

不过,按照上述描述,GFS的中心服务器只是逻辑上是一个,因此可以想象,其实GFS的Manster还是有后备机制的,因此GFS比较像伪集中式管理

 

转载地址:http://www.cnblogs.com/elaron/archive/2012/09/27/2706049.html

 

 

分享到:
评论

相关推荐

    GFS文件系统预研报告、GFS文件系统体系结构、安装流程、命令行操作

    在实验环境下,GFS文件系统统一安装到了redhat linux7。2下,(最好不要使用redhat 7.1,因为GFS安装成功后,可能会使系统启动失败)因为GFS5。0要求linux的内核必须是2.4.16以上。所以在安装GFS文件系统之前,需要...

    Google GFS架构分析.docx

    GFS 的系统架构可以分为三个角色:文件客户端、主服务器、存储服务器。文件客户端提供对外接口;主服务器存储文件信息、目录信息、文件服务器信息等元数据;存储服务器是集群,存储文件。主服务器是单点,存储文件...

    Google文件系统GFS

    《Google文件系统GFS详解》 Google文件系统(GFS)是Google开发的一款高...综上,GFS的设计充分考虑了大规模分布式环境下的数据处理需求,通过独特的架构和机制,实现了高可用性和高性能,成为大数据处理领域的典范。

    GFS(Google File System)架构

    主服务器是系统中的单点,负责管理文件元数据,如文件目录结构、文件位置信息和Chunk-server的状态。存储服务器则负责实际的数据存储,每个文件被切分成固定大小的块(通常为64MB),并保存多份副本以实现冗余。 高...

    GFS2文件系统介绍

    此外,GFS2提供了绑定挂载和上下文依赖路径名的特殊配置,以支持复杂的文件系统架构和权限管理需求。 从GFS到GFS2的转换过程也是管理员需要掌握的一项技能,这通常涉及从旧的GFS文件系统格式升级到GFS2文件系统格式...

    Gfs Paper.rar

    GFS是大数据处理技术发展的重要里程碑,对于理解现代云计算平台的基础架构具有深远的影响。 GFS的主要目标是提供高吞吐量的数据访问,以支持Google内部的大规模数据处理应用,如网页索引构建、日志分析等。它设计的...

    分布式文件系统-GFS1

    在系统架构上,GFS由三个主要组件构成:Master服务器、Chunkserver和Client。Master服务器是系统的核心,负责元数据管理,包括文件和Chunk的命名空间、文件到Chunk的映射关系以及Chunk的位置信息。此外,Master还...

    自动下载并保存GFS数据的Shell脚本

    “MySQL”是一种广泛使用的开源关系型数据库管理系统,它能够高效地存储和检索大量结构化数据,非常适合用来处理GFS这样的气象预报数据。通过将GFS数据导入到MySQL,可以进行复杂的SQL查询,进行数据分析和可视化。 ...

    GFS(google 文件服务)

    1. **主从架构**:GFS采用了主从架构,其中主节点负责管理文件系统的元数据,包括文件名、文件位置以及块信息等。从节点则负责存储实际的数据块。 2. **大块大小**:GFS中的文件块大小被设计为64MB,这是基于Google...

    Google三大论文之分布式文件系统GFS中文完整版

    1. **主从架构**:GFS采用了主从架构,其中主节点负责管理元数据,而从节点负责存储数据块。这种设计简化了元数据的管理和查询,提高了系统的可扩展性。 2. **块复制策略**:为了保证数据的可靠性和高可用性,GFS对...

    Google GFS

    ### Google分布式文件系统(GFS):关键技术与设计原则 #### 概述 Google分布式文件系统(GFS),由Sanjay Ghemawat、Howard Gobioff和Shun-Tak Leung共同设计并实现,旨在为大规模数据密集型应用提供可扩展、高...

    GFS中英文 (word)

    【谷歌文件系统(GFS)】是谷歌设计和实现的一种分布式文件系统,旨在处理大规模的数据存储和处理需求。GFS的出现,对于大数据处理和云计算领域具有里程碑式的意义,它为海量数据的高效存储和访问提供了强大的解决...

    Hadoop GFS

    总的来说,Hadoop GFS和MapReduce是大数据处理领域的重要工具,它们共同构成了一个强大的基础架构,使得企业能够处理海量的数据,挖掘其中的价值。理解并掌握这两个概念,对于从事大数据工作的专业人员至关重要。...

    GFS.rar_.gfs_Google File System_gfs_google GFS

    1. **单主服务器(Master Node)**: GFS架构中有一个中心主服务器,负责元数据管理,包括文件系统的命名空间、文件切片以及块到数据节点的映射。主服务器还监控数据节点的状态,并在必要时进行故障恢复。 2. **块...

    GFS BigTable MapReduce中文版

    标题中的“GFS BigTable MapReduce中文版”指的是Google三篇经典的分布式系统论文的中文翻译版本,这三篇论文在IT行业中具有极高的影响力,尤其是对于从事云计算、大数据处理和分布式存储领域的专业人士而言。...

    GFS论文中英文版.rar

    GFS采用主从结构,每个文件系统有一个全局的主服务器(Master),负责元数据管理,如文件到块的映射、块的位置信息等;从属服务器(Chunkserver)则实际存储数据块,并与主服务器保持通信,报告块的状态。 论文中...

    gfs官方论文 分布式文件系统

    1. 分布式文件系统架构:GFS 采用了分布式文件系统架构,能够将大量的数据分布式存储在多台机器上。 2.灾难冗余机制:GFS 采用了灾难冗余机制,以便在组件失效的情况下继续提供服务。 3. 高性能存储:GFS 采用了高...

    Google三篇论文之GFS(中文版)

    GFS系统的另一个显著特点是对文件系统API与应用程序的协同设计。这种设计提高了系统灵活性,通过放松对文件系统一致性模型的要求,减轻了文件系统对应用程序的苛刻约束,并简化了GFS的设计。它引入了原子性记录追加...

    邮件系统各方案比较gfs架构.pdf

    本文将对邮件系统的各种方案进行比较,并探讨GFS(Google File System)架构在其中的应用。GFS是一种分布式文件系统,专为大规模数据处理而设计,通常与大型邮件系统相结合,以提供高效、稳定和可扩展的服务。 在...

Global site tag (gtag.js) - Google Analytics