`
oxidy
  • 浏览: 164775 次
  • 性别: Icon_minigender_1
  • 来自: 吉林长春
社区版块
存档分类
最新评论

Google数据中心的内部情况:服务器超过20万台

阅读更多

没人确切知道搜索巨人有多少台服务器,但以小可见大:一次简简单单的搜索查询就要动用到700到1000台服务器。根据现有的资料,Google有36个 数据中心,每个数据中心有150个柜式服务器,每个柜含40台服务器,这样计算起来Google拥有的服务器超过20万台,这个数字每天还在增加。在本周 三的Google I/O会议上,Jeffrey Dean略微透露一点Google庞大数据中心的内部情况,在Dean眼里,1,800台的服务器集群根本是小菜一碟:

Dean说,更多的硬件并不意味着可靠性更高,你还需要在软件层次上提高可靠性。“如果你运行1万台机器,肯定每天都会有问题发生。”

Dean用了一个计算机集群来说明硬件故障频率,他说,“在一个集群上线的第一年,会有1000台独立的机器发生故障,数以千计的硬盘故障,一个分布式电力单元出问题,500到1,000台机器下线6小时;20个柜式服务器会出现问题;每次会导致40到80台机器从网络中消失;5个柜会变得不可靠,通过其中的一半信息包会丢失;集群需要更换一次连接的电线,每次会影响5%的机器停止工作两天。”

Dean还称,一个集群有50%的几率过热,不到5分钟内整个服务器瘫痪,需要花1到2天时间去恢复。

分享到:
评论

相关推荐

    google数据中心揭密

    从给定文件的内容中,我们可以提取出关于Google数据中心的多个知识点,这些知识点涉及数据中心的物理设施、冷却系统、备份策略、网络设备、以及数据中心的日常运营维护等各个方面。 1. Google数据中心的规模和布局...

    Google Architecture.pdf

    - **技术细节**: 每天大约有10万个MapReduce作业被执行,每天处理的数据量超过20PB,已经有超过1万个MapReduce程序被开发出来。这些程序通常运行在配备双处理器、千兆以太网连接以及4-8GB内存的机器上。 **2. ...

    国海证券-AI算力“卖水人”系列专题-1-:2024年互联网AI资本开支持续提升(1).pdf

    随着大模型竞赛的加剧,预计到2027年,AI基础设施支出将推动数据中心资本支出超过5000亿美元,全球超过20%的服务器部署将是加速类型的。 ##### 转折:大模型的出现提升了算力需求 - **海外趋势**: - 微软通过其...

    Google背后的分布式计算架构策略

    Google的服务器集群规模巨大,据估计在65个数据中心拥有20万到45万台服务器,这一数字还在不断增长。这种大规模部署使得Google能够处理海量的数据和请求,为用户提供即时的搜索结果。为了管理这些服务器,Google开发...

    信达通信·产业追踪(18):700M集采超预期;PLC国产替代空间大.pdf

    1. 5G建设与集采情况:本周,中国移动发布了关于超48万站700MHz基站集采的公告,这个数字略微超过了先前预计的40万站。这种超预期的集采规模反映出5G建设的快速推进,这对相关设备供应商是一个积极信号。尤其是在...

    IDC机房屋建设设.docx

    2. 小型企业数据中心(20个机柜):占地130平方,投资额190万,不包含服务器和硬件设备。 总结,IDC机房建设涉及多方面因素,包括物理环境、电力保障、设备布局和网络架构,每个环节都对机房的稳定运行起着至关重要...

    英伟达出货量分析.docx

    英伟达作为全球领先的图形处理器(GPU)制造商,其产品广泛应用于人工智能、数据中心和高性能计算等领域。本分析主要关注英伟达在2022年的出货量情况,以及对未来的预测。 首先,英伟达的A100 GPU在2022年全年的...

    第十四章-云计算与物联网.ppt

    1. 超大规模:云计算拥有庞大的服务器集群,如Google的超过100万台服务器,能够提供前所未有的计算能力。 2. 虚拟化:用户可以在任何地点通过任何终端设备接入“云”,无需关心服务的实际位置。 3. 高可靠性:通过...

    实时Hadoop实战篇:基于Storm实时路况分析和实时路径推荐系统方案.doc

    本项目的数据来源于 6 万多辆出租车、公交车上安装的 GPS 定位仪,GPS 定位仪每 15 秒向数据中心发送一条位置信息。 Storm 集群物理机: * 6 台 16 核处理器、64GB 存的联想服务器 * 虚拟化:用 openstack 将其中 ...

    基于HTML5的高性能WEBGIS

    粗略统计,测试的线数据为道路中心线,面数据为居民地,海量数据支持只限于内存20万行以内,只限于可用内存大小,比如1G可用内存可载入数据量为400万行左右。空间索引查询1万行结果平均7.5ms,无空间索引测试数据为...

    20210801-招商证券-通信行业周周谈(2021年第31周):北美云厂商资本开支拐点显现,持续重点推荐光模块龙头.pdf

    市场一致预期,今年资本开支总和有望同比增长超过20%,上游数据中心、交换机和光模块等产业链将因此而持续受益。 光模块的发展趋势:800G等高速率光模块的时代将快速到来。基于AI应用产生的流量高速增长、800G光...

    云计算基础知识整理.docx

    13. 为解决单一主服务器的性能瓶颈,GFS采取了减少主服务器在数据存储中的参与、不使用主服务器读取数据、客户端缓存元数据以及采用大尺寸数据块等策略。 14. MapReduce是Google提出的并行编程模型,用于大规模数据...

    [详细完整版]云计算概述..ppt

    自20世纪40年代第一台电子计算机诞生以来,计算模式经历了从单机、终端-主机到客户端-服务器的演变,互联网的出现则将全球连接,改变了企业和个人的生活方式。 云计算产生的背景主要由几个关键因素驱动。首先,数据...

    互联网传媒行业:木瓜移动,大数据技术领航,扬帆移动营销出海-0410-中信建投-22页.pdf

    木瓜移动构建的全球化大数据分析和处理体系,能够同步协调全球各大洲的14个大数据中心、4,500台高级服务器,实现7x24小时的不间断实时交易。公司通过这一系统积累全球用户超20亿人,对用户进行超过1,000项的维度刻画...

    Networked Life

    然而,互联网的Achilles’ heel(最薄弱环节)可能指对某些关键基础设施的依赖,比如数据中心的位置,或者是对特定网络协议的依赖等。 移动数据的计费方式通常按数据流量来计费,这是由移动网络运营商的商业模式...

    云计算就在我们身边.doc

    首先,它的超大规模性使得像Google、Amazon、IBM、微软和Yahoo这样的大型科技公司能够拥有数十万台服务器,构建起强大的计算能力。其次,虚拟化技术允许用户在任何地方、使用任何设备获取服务,无需关心服务的实际...

Global site tag (gtag.js) - Google Analytics