明义(robby)老师的深入浅出Hadoop实战开发视频课程很不错,也是热门的课程。以下是详细介绍Hadoop是什么,为什么要学习Hadoop?
Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。
Hadoop带有用Java 语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解,完全基于真实场景进行模拟现实
亮点一:技术点全面,体系完善
本课程在兼顾Hadoop课程知识体系完善的前提下,把实际开发中应用最多、最深、最实用的技术抽取出来,通过本课程,你将达到技术的新高点,进入云计算的美好世界。在技术方面你将彻底掌握基本的Hadoop集群;Hadoop HDFS原理;Hadoop HDFS基本的命令;Namenode的工作机制;HDFS基本配置管理;MapReduce原理; HBase的系统架构;HBase的表结构;HBase如何使用MapReduce;MapReduce高级编程;split的实现详解;Hive入门;Hive结合MapReduce;Hadoop的集群安装等众多知识点。
亮点二:基础+实战=应用,兼顾学与练
课程每阶段都安排了实战应用项目,以此方便学生能更快的掌握知识点的应用,如在第一阶段,课程结合HDFS应用,讲解了图片服务器的设计、以及如何利用Java API去对HDFS操作、在第二阶段;课程结合HBase实现微博项目的各种功能,使学员可以活学活用。在第三阶段:HBase和MapReduce结合时下了实现话单查询与统计系统,在第四阶段,Hive实战部分,通过实战数据统计系统,使学员在最短的时间内掌握Hive的高级应用。
亮点三:讲师丰富的电信集团云平台运作经验
讲师robby拥有丰富的电信集团工作经验,目前负责云平台的各方面工作,并拥有多年的企业内部培训经验。讲课内容完全贴近企业需求,绝不纸上谈兵。
大纲:
第1章节:
> Hadoop背景
> HDFS设计目标
> HDFS不适合的场景
> HDFS架构详尽分析
> MapReduce的基本原理
第2章节
> Hadoop的版本介绍
> 安装单机版Hadoop
> 安装Hadoop集群
第3章节
> HDFS命令行基本操作
> Namenode的工作机制
> HDFS基本配置管理
第4章节
> HDFS应用实战:图片服务器(1) - 系统设计
> 应用的环境搭建 php + bootstrap + java
> 使用Hadoop Java API实现向HDFS写入文件
第5章节
> HDFS应用实战:图片服务器(2)
> 使用Hadoop Java API实现读取HDFS中的文件
> 使用Hadoop Java API实现获取HDFS目录列表
> 使用Hadoop Java API实现删除HDFS中的文件
第6章节
> MapReduce的基本原理
> MapReduce的运行过程
> 搭建MapReduce的java开发环境
> 使用MapReduce的java接口实现WordCount
第7章节
> WordCount运算过程分析
> MapReduce的combiner
> 使用MapReduce实现数据去重
> 使用MapReduce实现数据排序
> 使用MapReduce实现数据平均成绩计算
第8章节
> HBase详细介绍
> HBase的系统架构
> HBase的表结构,RowKey,列族和时间戳
> HBase中的Master,Region以及Region Server
第9章节
> 使用HBase实现微博应用(1)
> 用户注册,登陆和注销的设计
> 搭建环境 struts2 + jsp + bootstrap + jquery + HBase Java API
> HBase和用户相关的表结构设计
> 用户注册的实现
第10章节
> 使用HBase实现微博应用(2)
> 使用session实现用户登录和注销
> “关注"功能的设计
> “关注"功能的表结构设计
> “关注"功能的实现
第11章节
> 使用HBase实现微博应用(3)
> “发微博"功能的设计
> “发微博"功能的表结构设计
> “发微博"功能的实现
> 展现整个应用的运行
第12章节
> HBase与MapReduce介绍
> HBase如何使用MapReduce
第13章节
> HBase应用实战:话单查询与统计(1)
> 应用的整体设计
> 开发环境搭建
> 表结构设计
第14章节
> HBase应用实战:话单查询与统计(2)
> 话单入库单设计与实现
> 话单查询的设计与实现
第15章节
> HBase应用实战:话单查询与统计(3)
> 统计功能设计
> 统计功能实现
第16章节
> 深入MapReduce(1)
> split的实现详解
> 自定义输入的实现
> 实例讲解
第17章节
> 深入MapReduce(2)
> Reduce的partition
> 实例讲解
第18章节
> Hive入门
> 安装Hive
> 使用Hive向HDFS存入结构化数据
> Hive的基本使用
第19章节
> 使用MySql作为Hive的元数据库
> Hive结合MapReduce
第20章节
> Hive应用实战:数据统计(1)
> 应用设计,表结构设计
第21章节
> Hive应用实战:数据统计(2)
> 数据录入与统计的实现
视频试看链接:http://aj5nqxerwc.l5.yunpan.cn/lk/QX5TINH4cyEgm
- 浏览: 1050546 次
- 性别:
- 来自: 广州
最新评论
-
心往圣城:
微时代-最专业的微信第三方平台。LBS定位导航,微网站,自定义 ...
微信公众平台 /微信公众平台怎么用 -
zhaojiafan:
return ReverseStr1(str.substrin ...
逆转字符串 Write a String Reverser (and use Recursion!) -
zhaojiafan:
public class StringUtils {
p ...
逆转字符串 Write a String Reverser (and use Recursion!)
相关推荐
严明义教授的多元统计分析课件,作为西安交通大学研究生课程的教学资源,无疑为我们提供了一个深入了解这一领域的宝贵平台。 课件可能涵盖以下关键知识点: 1. **多元分布**:多元正态分布是多元统计分析的基础,...
根据提供的信息来看,这本书《工作DNA》由郝明义撰写,于2007年由海南出版社出版。本书探讨了职场和个人成长的相关主题,通过作者的经验和观察,为读者提供了关于如何在职场中找到自己的定位、如何发展个人能力以及...
2021年[学习郭明义先进事迹的思想汇报]学习郭明义先进事迹感想.docx
智慧城市与物联网应用杜明义.pptx
初中语文文摘历史好人郭明义
学习郭明义精神思想汇报 .docx
学习郭明义事迹思想汇报 .docx
学习郭明义的雷锋精神思想汇报 .docx
《郭明义》观后感500字五篇.doc
【校本培训】是教育系统中提升教师专业素质的重要手段,尤其在当前的课程改革背景下,它成为加强教师队伍建设的有效途径。校本培训强调以教师任职的学校为基本培训单位,针对教师个体的需求和特点进行个性化、差异化...
《具有智能分析功能的百万像素IP摄像机SoC达芬奇DMVA2视频处理器》 在当今科技飞速发展的时代,数字图像处理技术已经成为安全监控和智能分析领域的重要支柱。德州仪器(TI)推出的达芬奇(DaVinci)DMVA2视频处理器...
在《公民的责任》这节课上,教师通过播放郭明义的事迹,提出相关问题,让学生认识到每个人都有相应的社会责任。 3. **优化小组结构**:教师需考虑学生的各种能力,合理分组,确保每个小组的综合能力均衡。小组内的...
25. 张同学的例子:班主任李老师试图树立张同学为助人为乐的典型,但未充分了解其动机,反映出在德育实践中应深入了解学生,避免简单的标签化。正确做法是与学生沟通,了解其真实想法,再进行有针对性的引导。 以上...
【教师述职报告】是教育行业中教师对其工作进行总结和反思的一种文档形式,通常包括教师的教育教学情况、个人成长、学生管理、理论学习等方面的内容。在上述的教师述职报告中,我们可以提取以下几个关键知识点: 1....
综上所述,高考作文可以通过深入剖析材料,提炼出核心主题,如奉献精神,结合具体的人物事迹,展示其深远的社会影响,以此来构建文章的深度和广度。同时,运用不同的写作手法,如引用名言、讲述故事,可以增强文章的...
在八年级的政治课程中,培养学生的亲社会行为是为了塑造他们良好的道德品质,让他们能够积极参与社会生活,为社会作出积极的贡献。 2. **理解谦让** 谦让是尊重他人、顾全大局的表现。通过学习《将相和》的历史...
【教学内容解析】 这篇文档是七年级道德与法治课程...通过这个教案,教师旨在激发学生对生命意义的深度思考,让他们意识到每个人都可以通过自己的行动赋予生命意义,无论这些行动是大是小,都是对这个世界的重要贡献。
这篇文档是关于教授小学语文课程“古诗词三首”的教案,涵盖了教学理念、目标、准备、安排以及具体的教学过程。教学的核心在于通过多种方式帮助学生理解和感受古诗词的意境和情感。 【设计理念】强调以“多读感悟”...
通过上述知识点的概述可以看出,《Java软件工程指南书籍》是一本全面涵盖了软件工程各个方面的著作,不仅深入浅出地讲解了软件开发的全过程,而且还提供了大量的实践案例供读者学习和参考。无论是对于初学者还是资深...
而白露则表现出过于自我中心的行为,这可能会影响团队协作和士气。关键在于识别这些行为背后的原因,并采取适当的沟通策略。 在与李明义交谈时,作为沟通主体,总经理应该明确自己的身份(作为领导者和决策者),...