`
lirenjuan
  • 浏览: 69142 次
  • 性别: Icon_minigender_2
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop 相关节点说明

 
阅读更多

Hadoop框架中最核心的设计就是:MapReduce和HDFS。

 

MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。

 

HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。

 

NameNode:负责记录文件是如何分割数据块,以及这些分别被存储的。

 

DataNode:负责把HDFS数据块读写到本地文件系统中。

 

SecondaryNode:次要的nameNode,它与nameNode通信,保存最新的nameNode快照。

当nameNode宕机能及时当作备用nameNode使用。

 

Jobtracker:主要负责任务的接受,初始化,调度以及对TaskTracker的监控。

 

TaskTracker:具体的任务内容。

 

HDFS -写文件:

client - nameNode(写请求),nameNode根据文件大小分割数据块.

nameNode - client(响应请求),响应nameNode的数据块信息.

client - dataNode(存取数据块,并且进行备份).

 

HDFS - 读文件:

client - nameNode(读请求).

nameNode - client(响应请求),返回nameNode数据块的信息.

client - dataNode(读数据块)

 

HDFS设计特点:

1.块存放:默认分三块保存。

2.心跳监控dataNode状态,如发现问题及时备份,保证数据安全.

3.数据复制dataNode失败,需要平衡节点的利用率。采用threshold配置.

4.数据交验采用crc32.

5.nameNode单点失败任务处理信息保存在本地系统文件.

 

 

分享到:
评论

相关推荐

    hadoop 2.8.2 3节点集群安装及native编译

    Hadoop 2.8.2 三节点集群安装及 native 编译 本文详细介绍了在 RHEL 6.7 操作系统上安装 Hadoop 2.8.2 三节点集群的步骤,包括集群环境准备、Hadoop 软件包的准备、JDK 的安装、集群成员 SSH 互信、NTP 的安装、...

    截图版说明:Hadoop实验参照手册二(安装Hadoop).pdf

    5. Hadoop 节点配置:本节内容主要介绍了 Hadoop 节点的配置,包括 HadoopMaster 节点和 HadoopSlave 节点的配置,例如配置主机名、配置网络环境、关闭防火墙等。 6. 时钟同步配置:本节内容主要介绍了时钟同步的...

    hadoop 安装配置说明,以及相关实验等

    为了在大数据方向的学习和研究中深入理解Hadoop的工作原理与应用,必须掌握Hadoop的安装配置以及相关编程实验。本文从Linux基础操作讲起,逐步深入到Hadoop的安装配置,以及如何通过Hadoop进行HDFS编程实践、Hive、...

    基于centos的大数据hadoop集群搭建说明文档

    在主节点上,完成Hadoop的相关配置,如DFS命名空间,数据块副本数量等。配置完成后,通过ssh将配置文件复制到其他节点。 **11. 初始化集群** 在主节点上执行Hadoop的格式化和启动操作,初始化HDFS和YARN: - `...

    hadoop 集群搭建说明书.rar

    在大数据处理领域,Apache Hadoop 是一个至关重要的开源框架,它允许分布式存储和处理大量数据。本教程将详细讲解如何在虚拟机上搭建一...请参照提供的"Hadoop 集群搭建说明书.docx"文件,获取更详细的操作指南和技巧。

    hadoop-api中文说明文档

    9. **Hadoop生态系统的扩展**:Hadoop不仅是MapReduce和HDFS,还包括许多相关的项目,如Hive(SQL-like查询)、Pig(数据分析)、Spark(快速大数据处理)和HBase(NoSQL数据库)。这些工具通常通过Hadoop API与...

    hadoop1.2.1部署说明

    2. **解压与配置**:在各节点上解压下载的Hadoop压缩包,并进行必要的配置。主要的配置文件包括: - `hadoop-env.sh`:在此文件中设置`JAVA_HOME`。 - `core-site.xml`:配置默认的HDFS地址和临时目录位置。 - `...

    Hadoop安装配置说明.doc

    5. **Hadoop集群通信**: 配置主机名和IP映射,确保节点间能正确通信。 6. **MapReduce理解**: 通过运行`wordcount`示例,理解MapReduce的基本工作流程。 以上内容详述了Hadoop在单机和伪分布式模式下的安装配置过程...

    细细品味Hadoop_Hadoop集群(第5期)_Hadoop安装配置

    这个Hadoop集群包含一个Master节点和三个Slave节点,它们通过局域网互相连接,能相互通信。Master节点上配置了NameNode和JobTracker,负责全局数据管理和任务分解。每个Slave节点上运行DataNode和TaskTracker,处理...

    eclipse hadoop2 插件

    以下是关于这个插件及其相关知识点的详细说明: 1. **Hadoop简介**:Hadoop是一个开源框架,主要用于处理和存储大量数据。它的核心组件包括Hadoop Distributed File System (HDFS)和MapReduce,这两个组件共同实现...

    Hadoop 三个配置文件的参数含义说明

    这个文件专门用于配置Hadoop分布式文件系统(HDFS)的相关参数。例如,`fs.default.name`参数指定了HDFS的名称节点(NameNode)地址,通常设置为`hdfs://namenode-host:port`,如`hdfs://master:8020`。`dfs....

    Hadoop-eclipse-plugin-2.7.6下载与说明

    2. **配置Hadoop环境**:在Eclipse中,你需要配置Hadoop的环境变量,包括HADOOP_HOME、HADOOP_CONF_DIR等,这样Eclipse才能找到Hadoop的相关配置文件。这通常在Eclipse的“Window” -> “Preferences” -> “Hadoop ...

    win10下部署hadoop文档说明及jar

    2. 确保你的系统安装了SSH服务,例如使用PuTTY来远程连接Hadoop节点。 3. 配置环境变量:添加`HADOOP_HOME`环境变量,并将值设定为Hadoop的安装目录。同时,还需在`PATH`变量中添加`%HADOOP_HOME%\bin`和`%HADOOP_...

    hadoop3.3.4 winutils

    4. **配置环境变量**:在编译完成后,需要将Hadoop的bin目录添加到系统的PATH环境变量中,以便命令行可以找到`winutils.exe`和其他相关工具。 5. **HDFS和YARN的配置**:在Windows上启动Hadoop集群,需要配置`hdfs-...

    hadoop环境搭建教程

    在整个搭建过程中,如果遇到任何问题,可以使用ping命令检查节点之间的网络连通性,如果ping通主机名,则说明之前所做的网络配置是正确的。 总结来说,本Hadoop环境搭建教程详细介绍了如何在Windows系统环境下,...

    Hadoop及源码.7

    "教程重要说明及更新链接点击这个文本.txt"可能包含Hadoop学习资源的重要说明,例如学习路径、注意事项,以及最新的教程或更新信息的链接。"Linux公社www.linuxidc.com.url"很可能是指向一个名为Linux公社的网站的...

    hadoop+zookeeper+hbase集群搭建配置说明

    在大数据处理领域,Hadoop、Zookeeper和HBase是三个...确保按照说明一步步操作,并在遇到问题时查阅相关文档或在线社区寻求帮助。记住,实践是检验真理的唯一标准,只有亲手搭建和配置,才能更好地理解和掌握这些技术。

    hadoop-3.2.4.tar.gz

    这个名为“hadoop-3.2.4.tar.gz”的压缩包文件包含了Hadoop 3.2.4版本的所有源代码、二进制文件、配置文件和其他相关资源。Hadoop在大数据领域扮演着至关重要的角色,因为它的主要组件——HDFS(Hadoop Distributed ...

    Hadoop集群部署方案.docx

    "Hadoop集群部署方案" Hadoop 集群部署方案是指在分布式系统中部署 Hadoop 集群的详细...包括 Hadoop 简介、环境说明、网络配置、所需软件、VSFTP 上传、SSH 无密码验证配置、Java 环境安装、Hadoop 集群安装等步骤。

Global site tag (gtag.js) - Google Analytics