论坛首页 综合技术论坛

hadoop视频教程

浏览 15655 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (1)
作者 正文
   发表时间:2013-02-16   最后修改:2013-04-10
Hadoop是什么,为什么要学习Hadoop?
Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
   Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。
   Hadoop带有用Java 语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解,完全基于真实场景进行模拟现实

第1章节:
> Hadoop背景
> HDFS设计目标
> HDFS不适合的场景
> HDFS架构详尽分析
> MapReduce的基本原理

第2章节
> Hadoop的版本介绍
> 安装单机版Hadoop
> 安装Hadoop集群

第3章节
> HDFS命令行基本操作
> Namenode的工作机制
> HDFS基本配置管理

第4章节
> HDFS应用实战:图片服务器(1) - 系统设计
> 应用的环境搭建 php + bootstrap + java
> 使用Hadoop Java API实现向HDFS写入文件

第5章节
> HDFS应用实战:图片服务器(2)
> 使用Hadoop Java API实现读取HDFS中的文件
> 使用Hadoop Java API实现获取HDFS目录列表
> 使用Hadoop Java API实现删除HDFS中的文件

第6章节
> MapReduce的基本原理
> MapReduce的运行过程
> 搭建MapReduce的java开发环境
> 使用MapReduce的java接口实现WordCount

第7章节
> WordCount运算过程分析
> MapReduce的combiner
> 使用MapReduce实现数据去重
> 使用MapReduce实现数据排序
> 使用MapReduce实现数据平均成绩计算

第8章节
> HBase详细介绍
> HBase的系统架构
> HBase的表结构,RowKey,列族和时间戳
> HBase中的Master,Region以及Region Server

第9章节> 使用HBase实现微博应用(1)
> 用户注册,登陆和注销的设计
> 搭建环境 struts2 + jsp + bootstrap + jquery + HBase Java API
> HBase和用户相关的表结构设计
> 用户注册的实现

第10章节
> 使用HBase实现微博应用(2)
> 使用session实现用户登录和注销
> “关注"功能的设计
> “关注"功能的表结构设计
> “关注"功能的实现

第11章节
> 使用HBase实现微博应用(3)
> “发微博"功能的设计
> “发微博"功能的表结构设计
> “发微博"功能的实现
> 展现整个应用的运行

第12章节
> HBase与MapReduce介绍
> HBase如何使用MapReduce

第13章节
> HBase应用实战:话单查询与统计(1)
> 应用的整体设计
> 开发环境搭建
> 表结构设计

第14章节
> HBase应用实战:话单查询与统计(2)
> 话单入库单设计与实现
> 话单查询的设计与实现

第15章节
> HBase应用实战:话单查询与统计(3)
> 统计功能设计
> 统计功能实现

第16章节 > 深入MapReduce(1)
> split的实现详解
> 自定义输入的实现
> 实例讲解

第17章节
> 深入MapReduce(2)
> Reduce的partition
> 实例讲解

第18章节
> Hive入门
> 安装Hive
> 使用Hive向HDFS存入结构化数据
> Hive的基本使用

第19章节 > 使用MySql作为Hive的元数据库
> Hive结合MapReduce

第20章节
> Hive应用实战:数据统计(1)
> 应用设计,表结构设计

第21章节
> Hive应用实战:数据统计(2)
> 数据录入与统计的实现

先上传几节给大家看一下,后面的小编会陆续跟上,


点击下载
点击下载
点击下载
   发表时间:2013-02-16  
期待后续的视频
0 请登录后投票
   发表时间:2013-02-17  
第三个不能下载呢?
0 请登录后投票
   发表时间:2013-02-17  
hottymg 写道
第三个不能下载呢?

我试了第三节是可以下载的额,后面的我很快跟上
0 请登录后投票
   发表时间:2013-02-17  
特意登录上来支持一下。正在找hadoop的学习材料。
0 请登录后投票
   发表时间:2013-02-17  
期待后面的视频,先把前三个下了!
0 请登录后投票
   发表时间:2013-02-17  
关注一下,期待后面的视频
0 请登录后投票
   发表时间:2013-02-17  
先把前三个下了
0 请登录后投票
   发表时间:2013-02-17  
什么时候可以下载后面的视频,老夫已经亟不可待。
0 请登录后投票
   发表时间:2013-02-18  
正要看看hadoop
0 请登录后投票
论坛首页 综合技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics