Google关于分布式计算和存储的论文

最初的三大论文：

The Google File System  ，发表于October, 2003

MapReduce: Simplified Data Processing on Large Clusters , 发表于December, 2004

Bigtable: A Distributed Storage System for Structured Data ，发表于November, 2006.

这三篇的中文版可在这里 （较大2+MB）获得。

 

第二代技术

 

Caffeine: 这个软件平台为谷歌的网络搜索引擎构建了索引

 

Dremel: 是一种用来分析信息的方法，它可以在数以千计的服务器上运行，能以极快的速度处理网络规模的海量数据，从而让“大数据”看起来变小。论文写于2006年，公开于2010年。它借鉴了Web搜索中的“查询树”的概念，将一个相对巨大复杂的查询，分割成较小较简单的查询。

Google Dremel 原理 - 如何能3秒分析1PB

 

Pregel，这是一个旨在映射大量在线信息之间关系的“图表数据库”。

 

Colossus

 

F1

 

Spanner http://www.yankay.com/google-spanner%E5%8E%9F%E7%90%86-%E5%85%A8%E7%90%83%E7%BA%A7%E7%9A%84%E5%88%86%E5%B8%83%E5%BC%8F%E6%95%B0%E6%8D%AE%E5%BA%93/

Spanner的中文版在厦门大学的网站 上有。

 

EMC研究院的颜开对Google的组件，有比较多的研究。关于Dremel，参见http://www.yankay.com/google-dremel-rationale/