`
yiliner
  • 浏览: 214991 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Google 架构之学习

阅读更多

Google 架构之学习

Google是伸缩性的王者。Google一直的目标就是构建高性能高伸缩性的基础组织来支持它们的产品。

平台
Linux
大量语言:Python,Java,C++

状态
在2006年大约有450,000台廉价服务器
在2005年Google索引了80亿Web页面,现在没有人知道数目
目前在Google有超过200个GFS集群。一个集群可以有1000或者甚至5000台机器。成千上万的机器从运行着5000000000000000字节存储的GFS集群获取数据,集群总的读写吞吐量可以达到每秒40兆字节
目前在Google有6000个MapReduce程序,而且每个月都写成百个新程序
BigTable伸缩存储几十亿的URL,几百千千兆的卫星图片和几亿用户的参数选择

堆栈
Google形象化它们的基础组织为三层架构:
1,产品:搜索,广告,email,地图,视频,聊天,博客
2,分布式系统基础组织:GFS,MapReduce和BigTable
3,计算平台:一群不同的数据中心里的机器
4,确保公司里的人们部署起来开销很小
5,花费更多的钱在避免丢失日志数据的硬件上,其他类型的数据则花费较少

可信赖的存储机制GFS(Google File System)
1,可信赖的伸缩性存储是任何程序的核心需求。GFS就是Google的核心存储平台
2,Google File System - 大型分布式结构化日志文件系统,Google在里面扔了大量的数据
3,为什么构建GFS而不是利用已有的东西?因为可以自己控制一切并且这个平台与别的不一样,Google需要:
-跨数据中心的高可靠性
-成千上万的网络节点的伸缩性
-大读写带宽的需求
-支持大块的数据,可能为上千兆字节
-高效的跨节点操作分发来减少瓶颈
4,系统有Master和Chunk服务器
-Master服务器在不同的数据文件里保持元数据。数据以64MB为单位存储在文件系统中。客户端与Master服务器交流来在文件上做元数据操作并且找到包含用户需要数据的那些Chunk服务器
-Chunk服务器在硬盘上存储实际数据。每个Chunk服务器跨越3个不同的Chunk服务器备份以创建冗余来避免服务器崩溃。一旦被Master服务器指明,客户端程序就会直接从Chunk服务器读取文件
6,一个上线的新程序可以使用已有的GFS集群或者可以制作自己的GFS集群
7,关键点在于有足够的基础组织来让人们对自己的程序有所选择,GFS可以调整来适应个别程序的需求

使用MapReduce来处理数据
1,现在你已经有了一个很好的存储系统,你该怎样处理如此多的数据呢?比如你有许多TB的数据存储在1000台机器上。数据库不能伸缩或者伸缩到这种级别花费极大,这就是MapReduce出现的原因
2,MapReduce是一个处理和生成大量数据集的编程模型和相关实现。用户指定一个map方法来处理一个键/值对来生成一个中间的键/值对,还有一个reduce方法来合并所有关联到同样的中间键的中间值。许多真实世界的任务都可以使用这种模型来表现。以这种风格来写的程序会自动并行的在一个大量机器的集群里运行。运行时系统照顾输入数据划分、程序在机器集之间执行的调度、机器失败处理和必需的内部机器交流等细节。这允许程序员没有多少并行和分布式系统的经验就可以很容易使用一个大型分布式系统资源
3,为什么使用MapReduce?
-跨越大量机器分割任务的好方式
-处理机器失败
-可以与不同类型的程序工作,例如搜索和广告。几乎任何程序都有map和reduce类型的操作。你可以预先计算有用的数据、查询字数统计、对TB的数据排序等等
4,MapReduce系统有三种不同类型的服务器
-Master服务器分配用户任务到Map和Reduce服务器。它也跟踪任务的状态
-Map服务器接收用户输入并在其基础上处理map操作。结果写入中间文件
-Reduce服务器接收Map服务器产生的中间文件并在其基础上处理reduce操作
5,例如,你想在所有Web页面里的字数。你将存储在GFS里的所有页面抛入MapReduce。这将在成千上万台机器上同时进行并且所有的调整、工作调度、失败处理和数据传输将自动完成
-步骤类似于:GFS -> Map -> Shuffle -> Reduction -> Store Results back into GFS
-在MapReduce里一个map操作将一些数据映射到另一个中,产生一个键值对,在我们的例子里就是字和字数
-Shuffling操作聚集键类型
-Reduction操作计算所有键值对的综合并产生最终的结果
6,Google索引操作管道有大约20个不同的map和reduction。
7,程序可以非常小,如20到50行代码
8,一个问题是掉队者。掉队者是一个比其他程序慢的计算,它阻塞了其他程序。掉队者可能因为缓慢的IO或者临时的CPU不能使用而发生。解决方案是运行多个同样的计算并且当一个完成后杀死所有其他的
9,数据在Map和Reduce服务器之间传输时被压缩了。这可以节省带宽和I/O。

在BigTable里存储结构化数据
1,BigTable是一个大伸缩性、错误容忍、自管理的系统,它包含千千兆的内存和1000000000000000的存储。它可以每秒钟处理百万的读写
2,BigTable是一个构建于GFS之上的分布式哈希机制。它不是关系型数据库。它不支持join或者SQL类型查询
3,它提供查询机制来通过键访问结构化数据。GFS存储存储不透明的数据而许多程序需求有结构化数据
4,商业数据库不能达到这种级别的伸缩性并且不能在成千上万台机器上工作
5,通过控制它们自己的低级存储系统Google得到更多的控制权来改进它们的系统。例如,如果它们想让跨数据中心的操作更简单这个特性,它们可以内建它
6,系统运行时机器可以自由的增删而整个系统保持工作
7,每个数据条目存储在一个格子里,它可以通过一个行key和列key或者时间戳来访问
8,每一行存储在一个或多个tablet中。一个tablet是一个64KB块的数据序列并且格式为SSTable
9,BigTable有三种类型的服务器:
-Master服务器分配tablet服务器,它跟踪tablet在哪里并且如果需要则重新分配任务
-Tablet服务器为tablet处理读写请求。当tablet超过大小限制(通常是100MB-200MB)时它们拆开tablet。当一个Tablet服务器失败时,则100个Tablet服务器各自挑选一个新的tablet然后系统恢复。
-Lock服务器形成一个分布式锁服务。像打开一个tablet来写、Master调整和访问控制检查等都需要互斥
10,一个locality组可以用来在物理上将相关的数据存储在一起来得到更好的locality选择
11,tablet尽可能的缓存在RAM里

硬件
1,当你有很多机器时你怎样组织它们来使得使用和花费有效?
2,使用非常廉价的硬件
3,A 1,000-fold computer power increase can be had for a 33 times lower cost if you you use a failure-prone infrastructure rather than an infrastructure built on highly reliable components. You must build reliability on top of unreliability for this strategy to work.
4,Linux,in-house rack design,PC主板,低端存储
5,Price per wattage on performance basis isn't getting better. Have huge power and cooling issues
6,使用一些collocation和Google自己的数据中心

其他
1,迅速更改而不是等待QA
2,库是构建程序的卓越方式
3,一些程序作为服务提供
4,一个基础组织处理程序的版本,这样它们可以发布而不用害怕会破坏什么东西

Google将来的方向
1,支持地理位置分布的集群
2,为所有数据创建一个单独的全局名字空间。当前的数据由集群分离
3,更多和更好的自动化数据迁移和计算
4,解决当使用网络划分来做广阔区域的备份时的一致性问题(例如保持服务即使一个集群离线维护或由于一些损耗问题)

学到的东西
1,基础组织是有竞争性的优势。特别是对Google而言。Google可以很快很廉价的推出新服务,并且伸缩性其他人很难达到。许多公司采取完全不同的方式。许多公司认为基础组织开销太大。Google认为自己是一个系统工程公司,这是一个新的看待软件构建的方式
2,跨越多个数据中心仍然是一个未解决的问题。大部分网站都是一个或者最多两个数据中心。我们不得不承认怎样在一些数据中心之间完整的分布网站是很需要技巧的
3,如果你自己没有时间从零开始重新构建所有这些基础组织你可以看看
Hadoop。Hadoop是这里很多同样的主意的一个开源实现
4,平台的一个优点是初级开发人员可以在平台的基础上快速并且放心的创建健全的程序。如果每个项目都需要发明同样的分布式基础组织的轮子,那么你将陷入困境因为知道怎样完成这项工作的人相对较少
5,协同工作不一直是掷骰子。通过让系统中的所有部分一起工作则一个部分的改进将帮助所有的部分。改进文件系统则每个人从中受益而且是透明的。如果每个项目使用不同的文件系统则在整个堆栈中享受不到持续增加的改进
6,构建自管理系统让你没必要让系统关机。这允许你更容易在服务器之间平衡资源、动态添加更大的容量、让机器离线和优雅的处理升级
7,创建可进化的基础组织,并行的执行消耗时间的操作并采取较好的方案
8,不要忽略学院。学院有许多没有转变为产品的好主意。Most of what Google has done has prior art, just not prior large scale deployment.
9,考虑压缩。当你有许多CPU而IO有限时压缩是一个好的选择。
分享到:
评论

相关推荐

    Google架构.rar

    【Google架构】是互联网巨头...从文件名列表来看,"Google架构2.JPG"、"Google架构3.JPG"、"Google架构1.JPG"、"Google架构4.JPG"可能包含了关于这些技术的图表或示意图,进一步阐述了Google架构的细节和组成部分。

    软考高级系统架构师经验复习笔记仅供个人学习使用

    在学习过程中,不断实践和反思,结合具体案例分析,将理论知识转化为实际操作能力,这将使你在软考高级系统架构师的备考之路上更加得心应手。记得,系统架构并非孤立的知识点,而是需要综合运用多方面技能去解决复杂...

    Google架构学习

    Google架构的学习不仅限于技术细节,还涉及到其设计理念,如数据驱动决策、快速迭代和容错性优先。这些原则在Google的工程文化中扮演着核心角色,推动了技术创新和高效运营。 通过对Google架构的深入理解,开发者和...

    云深度学习平台架构与实践

    进一步地,文章还提出了一种类似Google的云机器学习架构模型。在这种架构下,模型的开发训练任务和线上服务都得到了很好的支持。具体来说,当需要提交训练任务时,平台会创建训练容器,并通过TensorFlow、MXNet等...

    谷歌官方架构组件demo

    开发者可以通过分析这个示例来学习如何创建一个使用MVVM架构,依赖于ViewModel、LiveData和Room的应用程序。在这个项目中,可能会看到如何定义数据模型,如何设置ViewModel来处理业务逻辑,如何使用LiveData来实现...

    谷歌云计算架构详解.docx

    谷歌云计算架构详解docx,提供“谷歌云计算架构详解”免费资料下载,主要包括外部网络系统介绍、内部网络架构介绍、大规模IDC部署战略、自己设计的服务器机架架构、操作系统与云计算文件系统GFS/GFSII、并行计算架构...

    google云计算体系架构详解

    google云计算体系架构详解,详细介绍google云计算的各个组件,以及实现细节

    架构 学习资料 总结

    这个“架构学习资料总结”涵盖了基础和中级理论基础,旨在帮助学习者全面理解和掌握架构设计的核心概念。 首先,我们从基础理论开始。架构设计的基础包括对计算机系统的基本理解,如操作系统原理、数据结构与算法、...

    Python-TensorFlow增强学习神经网络架构搜索手把手指南

    TensorFlow是Google开发的一个强大的开源库,用于数值计算和机器学习,特别是深度学习。它提供了丰富的API,方便构建和训练复杂的神经网络模型。在进行NAS时,我们通常会用到TensorFlow的计算图机制、优化器、损失...

    系统架构设计师(教程学习资料)

    4. **云原生架构**:熟悉AWS、Azure、Google Cloud等云平台,以及Kubernetes、Docker等容器化和编排工具,理解如何利用云服务进行架构设计。 5. **数据库设计**:理解关系型数据库和非关系型数据库(NoSQL)的区别...

    架构师成长之路

    1. 云计算:2017年,公有云和私有云的融合成为趋势,架构师需要熟悉AWS、Azure、Google Cloud等平台,以及OpenStack等开源云解决方案。 2. 微服务:微服务架构的兴起,使得大型应用被拆分为小型、独立的服务,提高了...

    面向深度学习的SoC架构设计与仿真.pdf

    异构计算架构是解决这一问题的关键技术之一。异构计算是指使用不同类型的计算单元来处理不同类型的任务,以达到性能最优和能效比最佳。在深度学习领域,异构计算架构通常包括CPU、GPU、FPGA、ASIC等不同类型的处理器...

    著名网站架构设计(包括Facebook Google Amazon

    网站架构设计是构建高效...通过深入学习这些文章,我们可以了解到如何设计和优化大规模网站架构,以应对不断增长的用户需求和业务挑战。这些知识对任何希望在IT行业尤其是云计算和大数据领域发展的专业人士都极具价值。

    深度学习革命及其对计算机架构和芯片设计的影响【Google Jeff Dean独自署名论文】.zip

    计算机界神级人物、谷歌人工智能主管Jeff Dean发表了独自署名论文《The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design》,17页pdf论文,长文介绍了后摩尔定律时代的...

    系统架构师32小时通关资料.zip

    6. **云原生与容器化**:了解云服务提供商(如AWS、Azure、Google Cloud等)的基本服务,以及Docker和Kubernetes等容器化技术,对于构建可扩展、弹性的架构至关重要。 7. **架构评估与优化**:如何评估一个架构的...

    软件架构师-架构资料.zip

    《软件架构师:构建高效系统的关键》 在信息化社会中,软件架构师的角色日益凸显,他们不仅是...这些资料将帮助学习者全面了解软件架构师的工作内容,提升他们的专业素养,为成为一名合格的软件架构师打下坚实的基础。

    云计算架构师培训1

    云计算的简史从太阳微系统公司的“网络即电脑”概念提出开始,经历了亚马逊EC2服务的推出,到Google提出“云计算”概念,再到各大企业如IBM、雅虎、惠普和英特尔等在全球范围内推广云计算项目,共同构建起云计算技术...

    高级系统架构师经典案例分享

    本资源“高级系统架构师经典案例分享”聚焦于这一领域的专业知识与实践经验,旨在为有志于提升自己在系统架构方面能力的IT从业者提供宝贵的学习材料。 首先,系统架构师需要对计算机科学基础有深入理解,包括数据...

Global site tag (gtag.js) - Google Analytics