`
zpball
  • 浏览: 919469 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop扫盲篇

阅读更多


一、Hadoop是什么?

答:是google的核心算法MapReduce的一个开源实现。用于海量数据的并行处理。

hadoop的核心主要包含:HDFS和MapReduce
      HDFS是分布式文件系统,用于分布式存储海量数据。
      MapReduce是分布式数据处理模型,本质是并行处理。


二、多少数据算海量数据?

答:个人认为,TB(1024GB)级别往上就可以算海量数据。


三、谁在使用hadoop?

N多大型互联网公司,这里列的比较全:
http://wiki.apache.org/hadoop/PoweredBy

在国内,包括中国移动、百度、网易、淘宝、腾讯、金山和华为等众多公司都在研究和使用它


四、用它来做什么?

答:海量数据处理。。。似乎有点虚呵呵,我能想到的用hadoop的地方:
1、最简单的,做个数据备份/文件归档的地方,这利用了hadoop海量数据的存储能力
2、数据仓库/数据挖掘:分析web日志,分析用户的行为(如:用户使用搜索时,在搜索结果中点击第2页的概率有多大)
3、搜索引擎:设计hadoop的初衷,就是为了快速建立索引。
4、云计算:据说,中国移动的大云,就是基于hadoop的
5、研究:hadoop的本质就是分布式计算,又是开源的。有很多思想值得借鉴。


总之,你可以把hadoop看成是:分布式计算框架(或系统、或平台),可以说是用来做云计算的,呵呵。(云计算的本质就是:海量数据存储/并行处理,即hadoop中的HDFS和MapReduce)
分享到:
评论

相关推荐

    hadoop基础知识扫盲

    大数据hadoop基础知识扫盲,初步了解什么是hadoop

    hadoop起源Google三篇论文

    Hadoop是大数据处理领域的一个重要框架,它的诞生与Google的三篇开创性论文密不可分。这三篇论文——GFS(Google File System)、Bigtable和MapReduce,为分布式计算和存储提供了理论基础,对Hadoop的发展起到了决定...

    基础学习hadoop编程篇.pdf

    基础学习hadoop编程篇.pdf

    零基础学习hadoop编程篇.pdf

    零基础学习hadoop编程篇.pdf

    Hadoop实战篇.pdf

    Hadoop的设计理念源于Google的三篇论文,即Google文件系统(GFS)、MapReduce和BigTable。Hadoop能够部署在廉价的硬件上,并且能够以高容错性的形式存储海量数据,同时也提供了强大的计算能力。 Hadoop核心组件主要...

    基础学习hadoop编程篇(1).pdf

    基础学习hadoop编程篇(1).pdf

    零基础学习hadoop编程篇.doc

    零基础学习hadoop编程篇.doc

    零基础学习hadoop编程篇 (2).docx

    【零基础学习Hadoop编程篇】是针对初学者和有一定编程经验的程序员的指南,旨在帮助读者理解并掌握Hadoop编程的基本概念和技术。Hadoop是一个分布式计算框架,使用Java语言编写,它允许开发者将大型数据集分割并在多...

    零基础学习hadoop编程篇 (3).pdf

    【标题】: "零基础学习Hadoop编程篇 (3).pdf" 【标签】: "互联", "cs" 本文主要探讨了零基础学习Hadoop编程所需的知识点,包括基础的Java编程要求、Hadoop编程注意事项、MapReduce程序创建、Eclipse远程连接、...

    hadoop2.7.3 Winutils.exe hadoop.dll

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两...

    hadoop winutils hadoop.dll

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在普通硬件上高效处理大量数据。在Windows环境下,Hadoop的使用与Linux有所不同,因为它的设计最初是针对Linux操作系统的。"winutils"和"hadoop.dll...

    hadoop相关的十几篇论文

    标题中的“hadoop相关的十几篇论文”表明这些文档聚焦于Hadoop技术,这是一个开源的分布式计算框架,由Apache软件基金会维护。Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,它们共同...

    hadoop的dll文件 hadoop.zip

    Hadoop是一个开源的分布式计算框架,由Apache基金会开发,它主要设计用于处理和存储大量数据。在提供的信息中,我们关注的是"Hadoop的dll文件",这是一个动态链接库(DLL)文件,通常在Windows操作系统中使用,用于...

    hadoop.dll & winutils.exe For hadoop-2.7.1

    在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。本文将详细探讨与"Hadoop.dll"和"winutils.exe"相关的知识点,以及它们在Hadoop-2.7.1版本中的作用。 Hadoop.dll是Hadoop在...

    hadoop2.7.3的hadoop.dll和winutils.exe

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是Hadoop发展中的一个重要版本,它包含了众多的优化和改进,旨在提高性能、稳定性和易用性。在这个版本中,`hadoop.dll`...

    【Hadoop篇06】Hadoop源码编译1

    在本篇【Hadoop篇06】中,我们将探讨如何编译Hadoop源码,这是一个对深入了解Hadoop内部机制至关重要的过程。以下是编译Hadoop源码所需的关键步骤和相关知识点: 1. **准备工作** - **CentOS联网**:确保Linux系统...

    hadoop的hadoop.dll和winutils.exe下载

    在Hadoop生态系统中,`hadoop.dll`和`winutils.exe`是两个关键组件,尤其对于Windows用户来说,它们在本地开发和运行Hadoop相关应用时必不可少。`hadoop.dll`是一个动态链接库文件,主要用于在Windows环境中提供...

    Hadoop下载 hadoop-2.9.2.tar.gz

    Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...

Global site tag (gtag.js) - Google Analytics