转自:http://coolshell.cn/articles/3301.html
Google 公司的 Jeff Dean 在Stanford大学做了一个非常 精彩的演讲(视频未墙)。我觉得我们每一个人都应该去看一看这个视频,当然,没有字幕,需要不错的听力,当然,我不可能全部翻译出来,因为我也不是完全能听懂,下面是一些相关的Notes,供你参夸,并欢迎牛人指证。
- 比较了从1999年到2010年十年来的搜索量的变化。搜索量增加了 1000 倍,而搜索速度快了5 倍。1999年,一个网页的更新最多需要一个月到两个月,而今天,只需要几秒钟,足足加快了5w倍。
- 一开始,这些大量的查询产生了大约30GB的I/O量。2004年,他们考虑过全部重写infrastructure。
- 讨论了一些关于变量长度字节对齐的东西。
- 今天的MapReduce 有400万个作业,处理将近1000PB的数据,130PB的中间数据,还有45PB的输出数据。(1PB =1024TB)关于 MapReduce (Google云计算的精髓) 的一些统计,见下图:
- 现在Jeff正在做一个叫Spanner的项目,这是一个跨多个数据中心的项目。在后来的Q&A中,Jeff解释了现在的数据基本上都在各个数据中心中,数据在不同数据中心间的交换几乎不可能。所以,他们需要提供一些手动的方式或是一些工作或任务来达到数据共享。这其中还需要有一些策略配置,共同的namespace,事务处理,数据一致性等等工作。
- 最后一个段落应该是最精彩的,Jeff讲了很多很有意思的东西,绝对让你受用一生:
- 一个大型的系统需要分解成N多的小services.(这和Amazon的很相似,一个页面的调用可能要经过几百个后台的services)
- 代码的性能将会是想当的重要。Jeff给了一张叫“Numbers Everyone Should Know” 的slide,如下所示,我觉得太经典了,其中的东西,如果你看过我的那篇“给老婆普及计算机知识”,我想我不需要多解释了。(注:1 ns = 十亿分之一秒)
- 把相同的东西抽出来去建立一个系统,而不是把所有的事情交给所有的人。他说: “最后的那个功能可能会导致你怎么个系统超出了原有的复杂度”。
- 不要无限制地设计可扩展性。5倍到50倍的扩展性设计足够了。如果你要达到100倍的,那应该是re-arch了。
- Jeff很喜欢有中心主结点的架构体系,他并不喜欢分布式系统。当然,中心主结点主要是用来做控制的,而不是做数据或是计算服务的。
- J在一些小机器上运行多个小服务,而不在一个大机器上运行一个mongo作业。越小的单元就越容易处理,修复,负载均衡和扩展。(化繁为简)
- …… ……
这是一个非常不错的演讲,很让人开阔眼界。
最后,我想说说英文,很多程序员都很不喜欢英文,哎……怎么说呢?如果你今天对英文还很害怕的话,这只能怪我们的教育制度的失败。但如果你以此为借口的话,那只能怪你自己了。没有英文的能力,你的技术和认知仅限于中文圈中,而中文圈中基本上都是产商的文化。有人说,“功夫网”让我们的internet成为了局域网,而我想说,让我们成为局域网的不是那个墙,而是我们自己的世界观和英文能力。
分享到:
相关推荐
Jeff Dean在演讲中可能详细讨论了MapReduce的工作原理,以及如何通过它来处理海量的网页索引和查询请求。 其次,**数据存储** 是另一个关键问题。Google使用了名为**Bigtable** 的分布式数据库系统,以支持其大规模...
通过Jeff Dean的演讲,我们可以看到Google Brain团队如何利用大规模深度学习技术和TensorFlow框架,在多个领域取得了显著成就。这些成果不仅推动了人工智能技术的发展,也为解决人类社会面临的各种问题提供了强大的...
这些内容主要是关于Jeff Dean的一些夸张和幽默的描述,以此为背景,我们可以提取知识点如下: 1. P=NP问题:文档中提到了著名计算机科学问题P=NP,这是关于计算机算法理论中的一个核心问题,它问的是:是否每个能在...
Jeff Dean本科学位论文,阐述了分布式ANN训练方案。对后续Tensor flow有参考。
在该演讲中,Jeff Dean 分享了他对深度学习的看法,并探讨了如何构建智能计算机系统。 知识点一:深度学习的历史发展 Jeff Dean 首先回顾了深度学习的历史发展,指出深度学习的出现是基于机器学习和人工智能的发展...
计算机界神级人物、谷歌人工智能主管Jeff Dean发表了独自署名论文《The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design》,17页pdf论文,长文介绍了后摩尔定律时代的...
在本段节选自Google工程师Jeff Dean与同事们合作研究的《大规模深度学习》文章中,描述了构建更智能计算机系统的复杂性以及大数据、机器学习、深度学习在其中扮演的角色。Jeff Dean是Google的高级研究员和副总裁,他...
杰夫·迪恩(Jeff Dean)的演讲稿深入探讨了构建大规模分布式系统的设计、教训与建议,这份资料堪称是IT领域内精华中的精华。作为谷歌的一位资深研究员,Jeff Dean在分布式计算领域的经验和见解对业界有着深远的影响...
在2016年的Scaled Machine Learning (ScaledML)会议上,两位业界巨擘——谷歌的Jeff Dean和微软的陆奇——带来了关于最新技术的精彩演讲。这次会议的重点是探讨大规模机器学习的发展与应用,特别是深度学习领域的...
Jeff Dean分享了他在谷歌工作期间使用TensorFlow框架构建大规模智能深度学习系统的经验。TensorFlow是谷歌开发的开源机器学习库,广泛用于训练和部署深度学习模型。它支持多种语言,并且可以在多种平台上部署,包括...
这个是Google Brain大牛Jeff dean讲课视频的ppt,讲述了目前google目前在人工智能方面的研究和进展。视频地址 https://www.youtube.com/watch?v=HcStlHGpjN8&feature=youtu.be
杰夫·迪恩(Jeff Dean)在2013年的斯坦福大学技术讲座中深入探讨了大规模数据与计算领域面临的挑战与机遇,特别是在谷歌的计算环境背景下的分布式系统架构。讲座内容围绕着如何应对大数据中心的全球分布、硬件资源...
《interactive_latencies: 杰夫·迪恩(Jeff Dean)的等待时间数随时间变化》 在IT领域,性能优化是提升用户体验的关键因素之一。"interactive_latencies"项目由杰夫·迪恩(Jeff Dean)提出,他是一位知名的Google...
在2017年的NIPS大会(Neural Information Processing Systems Conference)上,谷歌研究院院长Jeff Dean发表了一篇关于机器学习在系统中的应用以及为机器学习设计的系统的演讲。在演讲中,他探讨了随着深度学习不断...
在2012年3月26日的演讲中,Jeff Dean——Google的软件架构大师、MapReduce框架的作者之一,深入探讨了如何在大型在线服务中实现快速响应时间。本演讲的核心在于解释为什么减少延迟对于提供高效的服务至关重要,并...
根据文档标题“WSDM09-keynote”以及描述“Google讲他们搜索进展的:)非常值得一看的啊”,我们可以了解到这是一篇由Google研究员Jeff Dean在WSDM 2009(Web Search and Data Mining会议)上的主题演讲。...
在本文中,谷歌的资深工程师Jeff Dean分享了他在构建基础设施软件时的一些经验教训。文章的标题“Lessons Learned While Building Infrastructure Software at Google”揭示了内容的核心主题,即在大型互联网公司中...