`
xinbage
  • 浏览: 9358 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hadoop是什么?

 
阅读更多
  在如今这个信息高速发展的今天,hadoop也越来越火了,那么到底是什么原因让hadoop如此的火,接下来新霸哥将详细的为了介绍,并让你快速的任何hadoop是什么?

  hadoop思想起源:Google

  新霸哥注意到了Google搜索引擎,安卓,翻译等等,有很多的先进技术,但是现在国内的用户是访问不到谷歌搜索引擎的,其实谷歌给我们的生活带来很大的影响的,从我们用到的智能手机安卓系统到谷歌翻译,谷歌学术,Google+等等有很多新的知识等着我们去学习。

  Google的低成本之道

  Google的强大搜索引擎源于不使用超级计算机,不使用存储。采用的是使用大量的PC服务器,因为互联网中的数据是很庞大的,有好的架构能够提供数据存储和数据访问,提供冗余的集群服务。像淘宝以前使用的存储是oracle由于数据量的增大,淘宝在走去Ieo模式,不使用存储。

  google在全世界有多个数据中心,有些还是带有发电厂的,能够满足全球用户的搜索需求。同时还有一个重要的一点就是运营商向Google倒付费。

  新霸哥发现了Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用最流行的java语言实现开源软件框架,同时实现在大量计算机组成的集群中对海量数据进行分布式计算.

  Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.

  HDFS(Hadoop Distributed File System,Hadoop分布式文件系统),它是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,适合那些有着超大数据集(large data set)的应用程序。

  MapReduce是一套从海量源数据提取分析元素最后返回结果集的编程模型,将文件分布式存储到硬盘是第一步,而从海量数据中提取分析我们需要的内容就是MapReduce做的事了。

  在现实的应用中Hadoop非常适合应用于大数据存储和大数据分析的应用,适合于服务器几千台到几万台的集群运行,支持PB级的存储容量。这是传统数据库不能超越的一点也是最有优势的一点。

  了解了hadoop后你会发现,Hadoop典型应用有:搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等。功能真的是很强大的,其实关于hadoop方面的内容还是有很多的,如果你是hadoop爱好者欢迎关注,新霸哥会定期更新大数据方面的知识。
分享到:
评论

相关推荐

    Hadoop是什么?怎么部署.pdf

    Hadoop是什么?怎么部署.pdf

    CentOS7 Hadoop 2.7.X 安装部署.docx

    4. 如何安装 Hadoop? 答:解压缩 Hadoop 软件包,创建必要的目录,如 TMP DIR、NameNode DIR 和 DataNode DIR,然后配置 core-site.xml 文件。 5. Hadoop 的组件有哪些? 答:Hadoop 由多个组件组成,包括 HDFS、...

    HadoopHDFS架构概述推荐系统框架图

    Hadoop 是什么?Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构,主要解决海量数据的存储和海量数据的分析计算问题。Hadoop 通常是指一个更广泛的概念——Hadoop 生态圈。 Hadoop 的发展历史:Hadoop 的...

    Hadoop入门帆帆帆帆

    本资源摘要信息对Hadoop进行了详细的介绍,从是什么、发展历史、架构到应用场景、优势等方面进行了全方位的探索,让读者对Hadoop有一个系统的了解。 一、Hadoop是什么? Hadoop是一个由Apache基金会所开发的分布式...

    Spark和Hadoop的集成

    Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。Storm是一个分布式的、容错的实时计算系统。两者整合,优势互补。

    什么是 Apache Hadoop?Hadoop介绍

    hadoop 什么是 Apache Hadoop?Hadoop介绍 Apache Hadoop 是一个开源软件框架,由当时就职于雅虎的 Douglas Cutting 开发,该框架使用简单的编程模型提供对大型数据集的高度可靠的分布式处理。

    hadoop/bin/hadoop.dll

    5. **错误日志分析**:查看安装过程或Hadoop启动时产生的错误日志,这些信息可能提供关于为什么需要这个DLL文件的线索。 6. **使用兼容性模式**:如果可能,尝试以兼容模式运行Hadoop,或者使用如cygwin这样的模拟...

    Hadoop 3rd ed

    - **Hadoop是什么?** - Hadoop是一个开源的分布式计算平台,由Apache基金会维护。 - 它主要用于存储和处理大规模的数据集,通过将任务分解到多个计算机节点上并行处理来实现高效的数据处理能力。 - Hadoop主要由...

    10丨模块答疑:我们能从Hadoop学到什么?.html

    10丨模块答疑:我们能从Hadoop学到什么?.html

    8步安装好你的hadoop

    ### Hadoop安装教程详解 #### 一、概述 Hadoop是一种能够处理大量数据的大规模分布式存储与计算平台,被广泛应用于大数据处理领域。本篇教程将详细介绍如何在多台服务器上部署Hadoop集群,分为八个步骤进行讲解。...

    Hbase和Hadoop JMX监控实战

    在大数据处理领域,HBase和Hadoop是两个关键的组件,它们在分布式存储和处理大量数据方面发挥着重要作用。JMX(Java Management Extensions)是一种Java平台标准,用于管理和监控应用程序。在本实战中,我们将深入...

    hadoop.dll 和 winutils.exe

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。它是由Apache软件基金会开发并维护的,旨在提供可靠、可扩展的数据处理能力。标题中的"hadoop.dll"和"winutils.exe"是Hadoop在...

    hadoop2.7.3 Winutils.exe hadoop.dll

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两...

    hadoop几个实例

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在大规模集群中高效处理和存储海量数据。这个压缩包文件包含的"hadop实用案例"很可能是为了帮助初学者理解和应用Hadoop技术。以下是关于Hadoop的一些...

    hadoop的dll文件 hadoop.zip

    Hadoop是一个开源的分布式计算框架,由Apache基金会开发,它主要设计用于处理和存储大量数据。在提供的信息中,我们关注的是"Hadoop的dll文件",这是一个动态链接库(DLL)文件,通常在Windows操作系统中使用,用于...

    Hadoop下载 hadoop-2.9.2.tar.gz

    Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...

    hadoop在windows上运行需要winutils支持和hadoop.dll等文件

    Hadoop是一款开源的大数据处理框架,最初由Apache软件基金会开发,主要用于分布式存储和计算。在Windows环境下运行Hadoop,与在Linux系统中的配置有所不同,因为Hadoop原生是为类Unix系统设计的。然而,通过一些额外...

    hadoop winutils hadoop.dll

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在普通硬件上高效处理大量数据。在Windows环境下,Hadoop的使用与Linux有所不同,因为它的设计最初是针对Linux操作系统的。"winutils"和"hadoop.dll...

    Hadoop下载 hadoop-3.3.3.tar.gz

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...

Global site tag (gtag.js) - Google Analytics