`

hadoop基础

阅读更多
Hadoop是什么?

答:是google的核心算法MapReduce的一个开源实现。用于海量数据的并行处理。

hadoop的核心主要包含:HDFS和MapReduce
      HDFS是分布式文件系统,用于分布式存储海量数据。
      MapReduce是分布式数据处理模型,本质是并行处理。


二、多少数据算海量数据?

答:个人认为,TB(1024GB)级别往上就可以算海量数据。


三、谁在使用hadoop?

N多大型互联网公司,这里列的比较全:
http://wiki.apache.org/hadoop/PoweredBy

在国内,包括中国移动、百度、网易、淘宝、腾讯、金山和华为等众多公司都在研究和使用它


四、用它来做什么?

答:海量数据处理。。。似乎有点虚呵呵,我能想到的用hadoop的地方:
1、最简单的,做个数据备份/文件归档的地方,这利用了hadoop海量数据的存储能力
2、数据仓库/数据挖掘:分析web日志,分析用户的行为(如:用户使用搜索时,在搜索结果中点击第2页的概率有多大)
3、搜索引擎:设计hadoop的初衷,就是为了快速建立索引。
4、云计算:据说,中国移动的大云,就是基于hadoop的
5、研究:hadoop的本质就是分布式计算,又是开源的。有很多思想值得借鉴。
分享到:
评论

相关推荐

    hadoop基础教程

    很不错的hadoop基础教程,就是书有点老了,可以作为基础拿来看

    hadoop基础知识

    Hadoop是大数据处理领域的重要...这份资料将帮助你构建扎实的Hadoop基础,为后续的大数据学习和项目实施打下坚实的基础。在实践中不断探索和掌握Hadoop,你将能够驾驭这个强大的大数据平台,解决各种复杂的数据挑战。

    hadoop基础入门

    ### Hadoop基础入门知识点详解 #### 一、Hadoop概览与背景介绍 **1.1 什么是Hadoop** Hadoop是由Apache基金会维护的一个开源软件框架,它支持使用普通的硬件来构建大规模的数据处理集群。Hadoop的核心优势在于...

    Hadoop基础命令.docx

    Hadoop基础命令 Hadoop是大数据处理的基础技术之一,能够对大量数据进行存储和处理。Hadoop基础命令是使用Hadoop的基础,以下是Hadoop基础命令的详细解释。 查看目录 使用命令"hadoop fs -ls"可以查看HDFS(Hadoop...

    大数据Hadoop基础软件包

    大数据Hadoop基础软件包是入门和理解大数据处理领域不可或缺的一部分,尤其对于初学者而言,它提供了深入了解和操作Hadoop生态系统的机会。Hadoop是Apache软件基金会开发的一个开源框架,专门用于处理和存储海量数据...

    Hadoop基础培训教程.pdf

    Hadoop社区版由Apache主导,100%开放源代码,是其他发行版的基础。不同发行版如Cloudera、 Hortonworks、MapR等则对社区版进行优化和定制,以适应不同的企业需求。 【大数据技术的挑战与目标】大数据技术的挑战主要...

    hadoop资料,hadoop基础,Hadoop源代码eclipse编译教程

    本教程主要围绕"Hadoop基础"和"Hadoop源代码eclipse编译教程"展开,旨在帮助初学者深入理解Hadoop并掌握其实际操作技能。 首先,我们要了解Hadoop的基本概念。Hadoop是由Apache基金会开发的一个开源项目,基于Java...

    Hadoop基础 配置 搭建

    Hadoop基础

    【IT十八掌徐培成】Hadoop第02天-01.Hadoop基础回顾-进程初识-webui.zip

    本资源"【IT十八掌徐培成】Hadoop第02天-01.Hadoop基础回顾-进程初识-webui.zip"聚焦于Hadoop的基础知识,特别是对Hadoop进程的理解以及如何通过Web UI进行监控。这里我们将深入探讨Hadoop的核心组件、进程架构以及...

    hadoop基础.docx

    Hadoop 基础知识点总结 Hadoop 是一款开源的大数据处理框架,由 Apache 软件基金会维护。Hadoop 的出现是由于 Google 的大数据技术没有开放代码,以至于 Hadoop 成为了该技术的开源实现。 Hadoop 的功能和优势 ...

    hadoop基础知识扫盲

    大数据hadoop基础知识扫盲,初步了解什么是hadoop

    Hadoop基础篇之搭建Hadoop

    ### Hadoop基础篇之搭建Hadoop #### 一、Linux环境配置 为了顺利进行Hadoop的搭建,首先需要确保Linux环境已经配置妥当。这里详细介绍了Linux环境的配置步骤。 ##### 1. 安装Linux - **安装方法**:通过虚拟机...

    Hadoop基础架构与历史技术教程

    ### Hadoop基础架构与历史技术教程 #### 一、Hadoop的起源与发展 **1.1 Hadoop的起源** Hadoop项目的诞生可以追溯到2004年,由Doug Cutting和Mike Cafarella在雅虎公司内部开发而成。其设计灵感来源于Google在...

    第三章 Hadoop基础.docx

    第三章 Hadoop基础 Hadoop是一个由Apache基金会开发的分布式系统基础架构,专注于解决海量数据的存储和分析计算问题。它的出现源于Doug Cutting为实现类似Google的全文搜索功能而创建的Lucene项目,随后经过一系列...

    清华大学精品大数据实战课程(Hadoop、Hbase、Hive、Spark)PPT课件含习题(32页) 第2章 Hadoop基础.pptx

    【大数据与Hadoop基础】 大数据是指那些传统数据处理方式无法有效处理的大量、高速、多样化的信息资产。Hadoop作为大数据处理的核心框架,由Apache软件基金会开发,旨在提供分布式存储和计算能力,解决海量数据的...

    hadoop基础知识学习与总结

    【Hadoop基础知识学习与总结】 Hadoop是一个由Apache基金会开发的开源分布式系统基础架构,它的设计目标是处理和存储海量数据。Hadoop这个名字源于创始人Doug Cutting的孩子为一只棕黄色大象玩具所取的名字,象征着...

Global site tag (gtag.js) - Google Analytics