`

比较简洁的Hadoop介绍

 
阅读更多
http://www.cnblogs.com/sunddenly/p/3977011.html
Hadoop集群的物理分布

这里是一个由两个机架组成的机群,图中有两种颜色绿色和黄色,不难看出黄色为主节点(Master),NameNode和JobTracker都独占一个服务器,只有一个是唯一,绿色为从节点(Slave)有多个。而上面所说的JobTracker、NameNode,DataNode,TaskTracker本质都是Java进程,这些进程进行相互调用来实现各自的功能,而主节点与从节点一般运行在不同的java虚拟机之中,那么他们之间的通信就是跨虚拟机的通信。

这些机群上放的都是服务器,服务器本质上就是物理硬件,服务器是主节点还是从节点,主要看是跑的是什么角色或进程,如果上面跑的是Tomcat他就是WEB服务器,跑的是数据库就是数据库服务器,所以当服务器上跑的是NameNode或JobTracker是就是主节点,跑的是DataNode或TaskTracker就是从节点。

详细看原文。。
分享到:
评论

相关推荐

    HADOOP 系统之hadoop pig hive 整合版

    在IT行业中,Hadoop、...以上是对Hadoop、Hive和Pig的简要介绍,详细的内容可参考提供的书籍,它们都是深入学习这三个工具的宝贵资源。在实际应用中,理解并熟练掌握这些工具,将有助于提升大数据处理的效率和质量。

    Pro Apache Hadoop, 2nd Edition

    《Pro Apache Hadoop, 2nd Edition》是一本专门介绍Apache Hadoop第二版的专业书籍。Hadoop是一个开源框架,旨在从大型数据集中进行存储和处理的分布式系统。它允许开发者使用简单的编程模型在计算机集群上分布式地...

    hadoop中文实战

    本书首先会介绍大数据的基本概念,包括大数据的特点、挑战以及Hadoop应运而生的原因。接着,会深入讲解Hadoop的生态系统,包括HDFS(Hadoop Distributed File System)和MapReduce这两个核心组件。HDFS是Hadoop的...

    hadoop代码

    "chaper4"可能指的是一个章节或教程的第四部分,可能详细介绍了Hadoop MapReduce的某个特定主题,如数据分区、排序或者Shuffle阶段的优化。 "IOTLibrarynew"可能是一个与物联网(IoT)相关的库,它可能包含了一些将...

    Hadoop期末学习重点.pdf

    它提供了一个简洁的Web界面来帮助管理员部署和管理Hadoop集群。 11. **Mahout**:是一个可扩展的机器学习库,包含了多种机器学习算法的实现,如分类、聚类、推荐引擎等。 #### 二、Hadoop安装 Hadoop的安装可以...

    2012年Hadoop与大数据技术大会PPT资料

    描述部分简洁地说明了这是一个包含PPT资料的集合,这些PPT可能包含了演讲者的主题介绍、技术解析、案例研究以及对未来趋势的展望。通过这些资料,我们可以深入了解2012年Hadoop和大数据技术的发展状况。 标签...

    spark2.1.0-bin-hadoop2.7

    本文将详细介绍Spark 2.1.0与Hadoop 2.7的集成特性,以及如何在Linux环境中安装和使用这个版本。 一、Spark 2.1.0新特性 1. 性能提升:Spark 2.1.0通过改进内存管理和优化执行计划,显著提高了处理速度,尤其是在...

    Hadoop 大数据学习ppt

    【Hadoop大数据学习PPT】是一份全面介绍大数据技术的教育资源,主要涵盖了Hadoop生态系统中的核心组件,包括HDFS(Hadoop Distributed File System)、HBase、Hive以及Impala和 Pig。这些组件在大数据处理和分析领域...

    Hadoop的各种资源文件

    最后,《Hadoop介绍-基础篇.ppt》可能是一个PPT形式的Hadoop入门教程,简洁明了地介绍了Hadoop的基本概念和组件。这可能是讲座或培训课程的讲义,适合快速了解Hadoop的主要组成部分。 综上所述,这个资源包提供了...

    hadoop-3.0.0&&spark-2.4.0&&scala-2.13.3&&maven-3.6.3

    这些组件都是大数据处理和开发领域中的关键工具,下面将详细介绍它们的功能和相互关系。 **Hadoop 3.0.0**是Apache Hadoop的第三个主要版本,它是一个开源框架,主要用于分布式存储和计算。Hadoop的核心由两个主要...

    Hadoop深入浅出之Zookeeper介绍.pptx

    1. 简单性:它的 API 设计简洁,易于理解和使用。 2. 富有表现力:通过 Znode(Zookeeper 中的节点)和 Watcher(观察者)机制,开发者可以实现各种复杂的协调策略。 3. 高可用性:Zookeeper 采用集群部署,能容忍...

    Hadoop当下最简洁的大数据各种技术介绍与总结.docx

    本文详细介绍了大数据的发展历程及其核心概念,并对大数据平台的通用架构进行了阐述。从数据仓库到Hadoop,再到数据湖、大数据平台以及数据中台,每一次技术进步都标志着数据处理能力的重大飞跃。对于企业和个人而言...

    spark-3.2.4-bin-hadoop3.2-scala2.13 安装包

    Scala 2.13是这个安装包所基于的版本,它引入了新的语言特性和库改进,提高了代码的简洁性和效率。 4. **安装与配置**: 使用这个压缩包,首先需要将其解压到服务器或本地机器的适当位置。接着,配置环境变量以指向...

    CCTC 2016 王栋:利用ELK监控Hadoop集群负载性能

    简洁易用的图形化界面更是为用户提供直观的数据分析和数据可视化功能的开发,快速实现对Hadoop集群负载性能的可视化监控。 综上所述,ELK技术栈为Hadoop集群性能监控提供了一个强大的解决方案,不仅能有效解决...

    Hadoop开发者第四期

    - **Hadoop中的tar命令的实现**:介绍了Hadoop中tar命令的实现细节,这对于理解如何在Hadoop环境下打包和解包文件非常有帮助。 - **Hadoop技术论坛运营数据分享**:分享了Hadoop技术论坛的运营数据,这对于了解社区...

Global site tag (gtag.js) - Google Analytics