`
DreamOne
  • 浏览: 8669 次
文章分类
社区版块
存档分类
最新评论

试读《Hadoop基础教程》

 
阅读更多

    大数据处理技术领域比较复杂,变化节奏很快,如何学习运用这些技术变得不知从何处下手。Hadoop是一种开源大数据处理技术框架,已经成为业界大数据处理技术的事实标准。对于想从事大数据处理工作的人来说,是绕不过Hadoop的。《Hadoop基础教程》是一本学习Hadoop入门的图书,进入大数据处理绝好途径之一。这本书可以帮助读者理解什么是HadoopHadoop是如何工作的、以及我们如何通过Hadoop从海量的数据中获取有价值的数据信息。

    这次试读是本书的第一章和第四章。第一章详细介绍了Hadoop的产生历史背景,Hadoop是什么,业界使用Hadoop的情况。Hadoop的作者Doug Cutting也是开源网页搜索引擎Nutch的作者,其在开发Nutch同时其受到Google的两篇著名的论文GFSMapReduce的启发,开发了这个分布式大数据处理框架,并以他儿子喜爱的玩具象Hadoop来命名,也可以这么说Hadoop是开源GFSMapReduce的技术实现,设计运行在低成本的硬件做成的集群平台来处理大规模的数据集。在本章中介绍了Hadoop的组成部分:HDFSMapReduceHDFS是一个可以存储极大数据集的文件系统,它是通过向外扩展方式构建的主机集群。MapReduce是一个数据处理范式,它规范了数据在两个处理阶段(被称为MapReduce)的输入和输出,并将其应用于任意规模的大数据集。MapReduceHDFS紧密结合,确保在任何情况下,MapReduce任务直接在存储所需数据的HDFS节点上运行。

    第四章介绍如何使用Hadoop重要组成部分之一MapReduce来解决实际问题。从编程角度来看,问题的解决在于如何编写符合要求的MapReduce程序。从本章中我们可以学习使用Hadoop Streaming脚本语言(Ruby、Python等)编写mapreduce任务;如何利用ChainMapper在一个作业中执行多个mapper任务;如果利用Distributed Cache在所有节点间共享数据;通过MapReduce Web UI了解任务状态信息和debug日志进行高效的作业分析。

    总的来说,这本书是一本hadoop基础入门的好书,书中提供了详细的实例帮助我们更好掌握Hadoop技术。同时有Hadoop开发经验的技术人员也适用,对于可以进一步加深对Hadoop的理解。

 

 

分享到:
评论

相关推荐

    hadoop基础教程

    很不错的hadoop基础教程,就是书有点老了,可以作为基础拿来看

    大数据Hadoop视频教程

    大数据Hadoop视频教程大数据Hadoop视频教程大数据Hadoop视频教程

    Hadoop基础培训教程.pdf

    Hadoop社区版由Apache主导,100%开放源代码,是其他发行版的基础。不同发行版如Cloudera、 Hortonworks、MapR等则对社区版进行优化和定制,以适应不同的企业需求。 【大数据技术的挑战与目标】大数据技术的挑战主要...

    hadoop教程ppt.ppt

    hadoop教程ppt.ppt

    hadoop系列教程7

    Hadoop的安装和配置虽然看起来复杂,但只要按照上述步骤操作,就可以顺利搭建起开发环境,为后续的大数据处理和分析工作打下基础。Hadoop的分布式计算和存储能力,使得它成为处理大规模数据集的首选框架。随着数据量...

    Hadoop入门教程

    在IT领域,Hadoop是一个...总之,《Hadoop入门教程》是一本针对初学者的宝贵资料,涵盖了从Hadoop基础到实战应用的全面内容。通过深入学习,你可以建立起对Hadoop的深刻理解,并为进一步探索大数据领域打下坚实基础。

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...

    大数据之Hadoop学习教程+笔记合计_超详细完整.zip

    大数据之Hadoop学习教程+笔记合计_超详细完整.zip

    Hadoop安装使用教程0基础!!!易懂!!!

    Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程...

    hadoop基础入门

    ### Hadoop基础入门知识点详解 #### 一、Hadoop概览与背景介绍 **1.1 什么是Hadoop** Hadoop是由Apache基金会维护的一个开源软件框架,它支持使用普通的硬件来构建大规模的数据处理集群。Hadoop的核心优势在于...

    Hadoop安装教程_单机_伪分布式配置_Hadoop2.6.0_Ubuntu14.04_给力星.html

    网上找的,适合于原生Hadoop2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。

    Hadoop安装教程_单机_伪分布式配置

    2. **Hadoop版本**:本教程以Hadoop 2.6.0版本为基础进行介绍,但同样适用于Hadoop 2.x.y系列的其他版本。 3. **其他软件**:Java 1.7或更高版本。 #### 三、安装前准备 1. **创建Hadoop用户**:为了安全起见,建议...

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...

    hadoop分布式部署教程

    Hadoop分布式部署是实现大规模数据处理的基础。通过上述步骤,可以构建起一个基本的Hadoop集群。然而,这只是开始,实际应用中还需要考虑更多的因素,如数据安全、性能优化等。随着技术的发展,Hadoop也在不断迭代,...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    Hadoop教程.pdf

    "Hadoop教程.pdf" 本文档提供了Hadoop Map/Reduce教程的详细介绍,从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。下面是其中的重要知识点: 1. Hadoop是一个分布式的文件系统,可以将多台机器...

Global site tag (gtag.js) - Google Analytics