一.Hadoop来历
- 2004年12月。Google发表了MapReduce论文,MapReduce允许跨服务器集群,运行超大规模并行计算。Doug Cutting意识到可以用MapReduce来解决Lucene的扩展问题。
- Google发表了GFS论文。
- Doug Cutting根据GFS和MapReduce的思想创建了开源Hadoop框架。
- 2006年1月,Doug Cutting加入Yahoo,领导Hadoop的开发。
- Doug Cutting任职于Cloudera公司。
- 2009年7月,Doug Cutting当选为Apache软件基金会董事,2010年9月,当选为chairman。
- 各大企业开发自己的发行版,并为Apache Hadoop贡献代码。
二.Google-->Apache
- Chubby-->ZooKeeper
- GFS-->HDFS
- BigTable-->HBase
- MapReduce-->MapReduce
三.Google论文
- GFS http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/de//archive/gfs-sosp2003.pdf
- BigTable http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/zh-CN//archive/bigtable-osdi06.pdf
- MapReduce http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/zh-CN//archive/mapreduce-osdi04.pdf
四.你也可以阅读一下文档
- Wiki Doug Cutting http://en.wikipedia.org/wiki/Doug_Cutting
- Hadoop源代码分析一 http://caibinbupt.iteye.com/blog/262412
相关推荐
Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理
它基于Google的MapReduce论文和Google File System (GFS) 论文而设计,最初由Doug Cutting创建,并在2006年作为Apache Lucene的子项目启动。Hadoop的核心组件包括Hadoop Distributed File System (HDFS) 和MapReduce...
Hadoop技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) 原版书籍,非扫描版,使用kindle可以打开,也可以转换为epub使用ibooks打开
Hadoop硬实战:Hadoop in Practice
Doug Cutting是Hadoop的创始人之一,他将Hadoop定义为大数据分布式操作系统的“内核”,这是一个已经成为事实标准的技术。本文主要围绕Hadoop生态系统展开,探讨其重要性、组成、优势、以及未来的发展方向。 首先,...
Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与...
Hadoop-LZO的源代码编译通常涉及到Java开发环境(JDK)、Maven构建工具以及可能需要的其他依赖库。 压缩包内的三个文件分别是: 1. `hadoop-lzo-0.4.21-SNAPSHOT-javadoc.jar`:这是Hadoop-LZO的Java文档(Javadoc...
hadoop&spark:Hive是一个基于Hadoop的数据仓库平台.zip
Hadoop权威指南 大数据的存储与分析 第四版
赠送jar包:hadoop-auth-2.6.5.jar 赠送原API文档:hadoop-auth-2.6.5-javadoc.jar 赠送源代码:hadoop-auth-2.6.5-sources.jar 包含翻译后的API文档:hadoop-auth-2.6.5-javadoc-API文档-中文(简体)-英语-对照版...
- **起源与发展**:Hadoop项目起源于Nutch项目,Nutch团队通过研究谷歌的GFS(Google File System)论文,启发Doug Cutting设计了HDFS(Hadoop Distributed File System)。2006年,Hadoop作为一个独立项目正式启动...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。本文集的文档主要介绍Hadoop的一些概念介绍和操作教程,...
export CLASSPATH="$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:${HADOOP_HOME}/lib/commons-logging-1.0.4.jar:${HADOOP_HOME}/lib/guava-r09-jarjar.jar:${HADOOP_HOME}/hadoop-core-0.20.2-cdh3u3.jar:/usr/...
从提供的文件内容中,我们可以提取出以下关于Hadoop 2.5的知识点: 1. Hadoop版本更新:文档中提到了...同时,文档还关注了开发环境的搭建、API的使用以及社区资源的利用,为Hadoop的学习和应用提供了全方位的支持。
与hadoop有关的io文件在hadoop-commom-x.x.x.jar中如:org.apache.hadoop.io.LongWritable, org.apache.hadoop.io.IntWritable org.apache.hadoop.io.Text等,相关的conf配置文件也在该jar文件中
《Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理》参考资料
【标题】: "Hadoop之父Doug Cutting" 【描述】: "Doug Cutting是Hadoop的创始人,他的工作对大数据处理产生了深远影响。本文源于博客园,探讨了Cutting的成长历程和他在Hadoop项目中的贡献。" 【标签】: "计算机" ...
当启动hadoop或者使用ssh时出现: 输入ifconfig指令发现:自己之前配置的ip:192.168.79.103地址已经发生了变化 怎么解决办法呢? 如下步骤: 重新修改静态ip 输入vi /etc/udev/rules.d/70-persistent-net.rules...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分析。Hadoop 2.7.6是该框架的一个稳定...这个过程可能对新手来说有些复杂,但通过学习和实践,可以成功地在Windows系统上建立和运行Hadoop集群。
《Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理》迷你书,会带你认识Hadoop技术