大型互联网公司在发展过程中,文件系统都经历了从集中式存储到分布式存储的演进过程。
1.集中式存储
早期数据量和访问量较小,可以采用emc等公司的NAS存储,但随着访问量增加,网络的瓶颈,扩容的压力和成本,运维的成本都将很高,这些缺点导致集中式存储已经无法支撑业务的需要。
2.分布式存储
可以通过分布式的方案,灵活的扩充,通过廉价的PC,就可以灵活增加存储,并且因为分布式的特点,硬件扩充的过程,不仅仅是存储的增加,而且网络流量的增加,访问量的增加都是同步解决了。
目前主流的分布式文件系统由hadoop文件系统(hdfs),但hdfs对于小文件的存储浪费空间比较严重。并不适合互联网的文件存储场景(从几k到几G的文件都有)。因为很多大型互联网公司基于google GFS轻量级分布式文件系统的原理,形成自有的分布式文件系统。
主要架构基本为
1.tracker服务器
对整个集群数据存储服务容量和接入访问量进行负载均衡。并记录储服务器的状态,以及文件的元数据信息,为避免单点,一般为多台服务器组成集群
2.数据存储服务器
实际保存数据的服务器,可在线灵活扩充,并支持多个备份,实现数据安全和负载均衡的作用
分享到:
相关推荐
这个压缩包文件"业务高速发展下的互联网金融系统架构演进.pdf"可能详细阐述了这一过程中的关键技术和策略。 首先,互联网金融系统架构的演进通常从单体架构开始,随着业务复杂性的增加,逐渐转向微服务架构。在早期...
### 分布式文件系统现状探讨研究 #### 引言 随着21世纪互联网技术的飞速发展,全球各行各业对计算机的依赖程度...未来,随着云计算、物联网等技术的发展,分布式文件系统将继续演进,以满足不断增长的数据处理需求。
大型互联网网站往往依赖于一系列分布式技术,如分布式文件系统、分布式计算框架、分布式关系数据库、分布式服务框架、分布式消息系统和分布式一致性服务框架,这些工具和架构共同支撑着大规模用户访问和高并发场景。...
大型网站系统架构演化之路的知识点主要包括以下几个方面: 1. 系统架构的演变过程:大型网站的系统架构并非一开始就完善,而是随着业务量的增加和业务功能的扩展逐渐演化而成。在这个过程中,会涉及到开发模式、...
1. **批处理系统**:20世纪50年代,计算机主要用于大型科学计算,操作系统主要是批处理系统,如IBM的Job Control Language (JCL)。这些系统一次性处理多个任务,提高了硬件利用率。 2. **分时系统**:随着计算机...
《大型互联网架构设计》 大型互联网架构设计是一个复杂而关键的领域,其核心目标是确保高可用性、可扩展性和高性能。在这个过程中,网站的规模、动态内容的处理以及移动APP的相关指标都是需要考虑的重要因素。 ...
GFS是谷歌为处理大规模互联网数据而设计的分布式文件系统,它采用了主从式架构,通过数据块服务器和单一的命名节点实现数据的分布和冗余,保证了系统的高可用性和性能。HDFS是Apache Hadoop项目的一部分,它借鉴了...
大型网络系统架构是构建可扩展、稳定且安全的网络服务的基础。它不仅包括硬件设备,如服务器和网络设备,还涉及到软件...随着互联网技术的不断进步,大型系统架构也会持续演进,为各种网络服务的创新和发展提供支撑。
在当今互联网时代,电商系统已成为商业活动中的重要一环。随着业务量的不断增长,电商系统架构的设计与优化变得尤为重要。1号店作为中国知名的超大型电商平台,在系统架构的演进上具有许多值得借鉴的经验。本文将...
3. **大型互联网网站架构心得之一分.mht**:这部分内容可能是专家的经验分享,涵盖了大型网站在初期架构设计时需要考虑的要点,如数据存储、用户访问模式、性能优化等。 4. **大型网站架构演变和知识体系.mht**:...
7. **学习资料**:这份资料可能是为IT从业者或学生提供的学习材料,帮助他们了解大型互联网公司的实际问题解决策略,提升架构设计能力。 8. **PDF文档**:“架构演进:微信之道-至简.pdf”可能包含详细的案例分析...
分布式IT架构是现代信息技术发展的重要方向,随着互联网和大数据时代的到来,传统的单体架构已经无法满足高并发、大规模数据处理的需求。本篇文章将详细探讨分布式架构的定义、应用、资源推荐以及其演进历程。 一、...
分布式架构的演进是一个不断优化和适应业务需求的过程,它涉及到集群管理、数据一致性、容错机制等多个方面,对于解决当今互联网企业的技术挑战至关重要。通过持续学习和实践,我们可以更好地理解和运用分布式架构,...
根据提供的文件内容,我们将重点讨论大型监控系统技术方案相关的知识点,并尝试从文档中提取出的信息构建出一个技术方案的大致框架。 首先,我们注意到文档中出现了各种技术和标准的编号或缩写,这些都是构建监控...
在大数据存储领域,Hadoop 分布式文件系统(HDFS)是业界广泛应用的基础架构,尤其在快手这样的大型互联网公司中,HDFS的技术演进对于支撑海量数据处理至关重要。本篇内容将深入探讨快手HDFS的技术演进过程,揭示其...
在过去的二十年里,随着互联网技术和业务需求的飞速发展,分布式系统架构经历了多次重大变革。从最初的单体应用到如今的微服务架构,每一步演变都反映了技术进步和业务需求的变化。本文将围绕分布式环境面临的三大...
中国电信CTNET2025网络演进架构是一份描绘中国电信未来网络发展蓝图的战略性文件,它不仅阐述了中国电信在2025年前的网络目标架构,还探讨了演进路径和发展策略。这个演进架构充分考虑了互联网+战略的影响、行业趋势...
本资源摘要信息来自一个关于大型金融数据中心网络架构设计的PPT文件,内容涵盖了金融数据中心网络架构设计的演进路线、金融网络应用场景的划分、数据中心应用服务域、双活数据中心网络解决方案、商业银行数据中心...