精通hadoop

1.Hadoop是什么
Hadoop原来是ApacheLucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。

2.下面列举hadoop主要的一些特点：

1扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。

2成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。

3高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。

4可靠性（Reliable）：hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。

3.Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。

HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率 （highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了 （relax）POSIX的要求（requirements）这样可以流的形式访问（streamingaccess）文件系统中的数据。

4.Hadoop还实现了MapReduce分布式计算模型。

MapReduce将应用程序的工作分解成很多小的工作小块(smallblocksofwork)。HDFS为了做到可靠性 （reliability）创建了多份数据块（datablocks）的复制（replicas），并将它们放置在服务器群的计算节点中 （computenodes），MapReduce就可以在它们所在的节点上处理这些数据了。

如下图所示：

 

5、Hadoop视频学习，高清视频地址：http://v.gotomao.com/video/44

01_Hadoop的源起与体系介绍01
02_Hadoop的源起与体系介绍02
03_Hadoop的源起与体系介绍03
04_实施Hadoop集群01
05_实施Hadoop集群02
06_实施Hadoop集群03
07_分布式文件系统HDFS、大数据存储实战01
08_分布式文件系统HDFS、大数据存储实战02
09_分布式文件系统HDFS、大数据存储实战03
10_Map-Reduce体系架构01
11_Map-Reduce体系架构02
12_Map-Reduce体系架构03
13_Map-Reduce之API实战01
14_Map-Reduce之API实战02
15_Map-Reduce之API实战02
16_Map-Reduce之Hadoop流、应用案例01
17_Map-Reduce之Hadoop流、应用案例02
18_Map-Reduce之Hadoop流、应用案例03
19_Map-Reduce之Hadoop流、应用案例04
20_HBase体系架构与安装01
21_HBase体系架构与安装02
22_HBase体系架构与安装03
23_HBase体系架构与安装04
24_Pig简介和安装
25_Pig的运行方法Grunt
26_HBase数据分析与建模、实战案例剖析
27_Map-Reduce的优化
28_Hive简介和安装
29_Hadoop下使用Sqoop
30_Hadoop实验01
31_Hadoop实验02
32_Hadoop实验03