`
zy19982004
  • 浏览: 661963 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
博客专栏
F6f66edc-1c1a-3859-b76b-a22e740b7aa7
Hadoop学习
浏览量:251957
社区版块
存档分类
最新评论

Hadoop学习二十九:Hadoop-hdfs NameNode源码 成员变量

 
阅读更多

一. NameNode概述

 * The NameNode controls two critical tables:
 *   1)  filename->blocksequence (namespace)
 *   2)  block->machinelist ("inodes")
 *
 * The first table is stored on disk and is very precious.
 * The second table is rebuilt every time the NameNode comes
 * up.

  1. 上面这段其实就和FSNameSystem作用一样,因为NameNode的功能基本就是靠FSNameSystem实现的。
  2. 当然,同DataNode一样,NameNode也是一个RPC Server。
  3. NameNode也要提供Http服务。

二. NameNode成员变量

 

  //一个文件系统  一个NameNode 一个FSNamesystem 一个FSDirectory
  public FSNamesystem namesystem; // TODO: This should private. Use getNamesystem() instead. 
  //BackupNode, Datanodes and all other services与serviceRpcServer通信
  private Server serviceRpcServer;
  //Clients 与server通信
  private Server server;
  
  //serviceRpcServer ip port
  protected InetSocketAddress serviceRPCAddress = null;
  //server ip port
  private InetSocketAddress serverAddress = null;
  
  //NameNode可以提供http服务
  private HttpServer httpServer;
  //http服务 ip port
  private InetSocketAddress httpAddress = null;
  
  //暂时不知道做什么  后面看把
  private Thread emptier;

 

 

0
0
分享到:
评论

相关推荐

    ansible-hdfs:用于安装 Cloudera HDFS 的 Ansible 角色

    角色变量hdfs_version - HDFS 版本hdfs_cloudera_distribution - Cloudera 发行版(默认: cdh5.4 ) hdfs_conf_dir - HDFS 的配置目录(默认: /etc/hadoop/conf ) hdfs_namenode - 确定节点是否为 HDFS NameNode ...

    Hadoop学习总结之五:Hadoop的运行痕迹

    - 位于`/var/log/hadoop/hadoop-namenode-namenode.out` (具体路径可能因版本而异) - 记录了HDFS元数据操作的日志信息 - **DataNode日志**: - 位于`/var/log/hadoop/hadoop-datanode-datanode.out` (具体路径可能...

    java-Hdfs体系结构与基本概念

    HDFS(Hadoop Distributed File System)是一种分布式文件系统,主要用于存储和管理大规模数据。HDFS 的设计初衷是为了满足高性能、高可靠性和高可扩展性的需求。 HDFS 体系结构 HDFS 的体系结构主要由两个组件...

    ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz

    安装Ranger-HDFS插件涉及以下几个步骤:首先,需要将"ranger-2.0.0-SNAPSHOT-hdfs-plugin"解压并按照官方文档的指导部署到HDFS集群中的各个NameNode节点;接着,配置Ranger Admin服务,导入HDFS插件,并为HDFS创建...

    Hadoop-hdfs下载

    ### Hadoop-HDFS环境下文件上传与下载操作指南 #### 一、Windows环境下配置Hadoop环境 **1.1 下载Hadoop** 为了在Windows环境下配置Hadoop环境,首先需要下载Hadoop软件包。推荐下载Hadoop 2.7.7版本,可以从清华...

    实验二:熟悉常用的HDFS操作.docx.zip

    8. **重命名或移动文件/目录**:`hadoop fs -mv`命令实现重命名或移动操作,例如`hadoop fs -mv hdfs://namenode:port/oldpath hdfs://namenode:port/newpath`。 9. **设置权限**:HDFS支持Unix样式的权限模型,`...

    idea hadoop-hdfs插件

    《Idea Hadoop-HDFS插件详解与应用》 在大数据开发领域,Hadoop作为分布式计算框架的重要代表,其HDFS(Hadoop Distributed File System)是数据存储的核心组件。为了方便开发者在IDEA(IntelliJ IDEA)环境中更加...

    hadoop源码分析-HDFS部分

    《Hadoop源码分析——HDFS部分》 Hadoop,作为开源大数据处理的基石,其核心组件之一就是HDFS(Hadoop Distributed File System),这是一个高度容错性的分布式文件系统,设计用于运行在廉价硬件上,能够处理大规模...

    大数据--Hadoop HDFS

    ### 大数据、Hadoop与HDFS详解 随着信息技术的快速发展和互联网的普及,数据量呈爆炸性增长态势。传统的数据处理工具和技术已无法满足如此大规模数据的存储、管理和分析需求。为此,Apache Hadoop应运而生,它提供...

    hadoop-idea-hdfs插件.zip

    《IDEA中的Hadoop HDFS插件:提升大数据开发效率》 在大数据处理领域,Apache Hadoop是一个不可或缺的工具,其分布式文件系统(HDFS)为海量数据存储提供了可靠的解决方案。而对于开发人员来说,拥有一个良好的集成...

    Hadoop技术-HDFS元数据.pptx

    HDFS元数据是Hadoop技术中用于维护整个文件系统的数据,通过NameNode管理,实现元数据服务及持久化存储。 HDFS元数据的定义及作用 ------------------------ HDFS元数据是由NameNode管理的用于维护整个文件系统的...

    Hadoop-HDFS.docx

    【Hadoop-HDFS概述】 Hadoop-HDFS,全称为Hadoop Distributed File System,是一种分布式文件系统,旨在解决大规模数据存储和处理的问题。随着大数据时代的到来,单个操作系统无法有效地管理和维护海量数据,因此,...

    Hadoop学习总结之二:HDFS读写过程解析

    ### Hadoop学习总结之二:深入理解HDFS读写过程 #### 一、HDFS文件读取流程详解 Hadoop的分布式文件系统(HDFS)是大数据存储与处理的重要基石,其读写机制的设计旨在优化大规模数据集的访问效率与容错性。本文将...

    hadoop源码分析-HDFS&MapReduce

    通过深入学习HDFS和MapReduce的源码,不仅可以理解它们的工作原理,还能为优化性能、解决故障或开发新的功能提供基础。同时,这也有助于更好地适应Hadoop生态系统中其他组件的开发和运维。对于想要成为Hadoop专家的...

    02-Hadoop-HDFS.docx

    ### Hadoop-HDFS知识点解析 #### 一、HDFS概述 **1.1 HDFS产出背景及定义** HDFS(Hadoop Distributed File System)是一种分布式文件系统,它为Hadoop的大数据处理提供了高效的存储能力。随着互联网的发展,数据...

    hadoop-common-2.6.0-bin-master.zip

    `hadoop-common-2.6.0-bin-master.zip` 是一个方便Windows开发者进行Hadoop本地开发和测试的压缩包,它解决了Windows环境下Hadoop二进制路径的问题。通过正确安装、配置和使用这个压缩包中的组件,开发者可以在没有...

    hadoop插件apache-hadoop-3.1.0-winutils-master.zip

    `winutils.exe`是这个工具包的关键组件,它是Hadoop在Windows上的一个命令行工具,用于执行如设置环境变量、管理HDFS文件系统等任务。 在安装和配置Hadoop 3.1.0 for Windows时,以下是一些关键步骤和知识点: 1. ...

    hadoop_3_2_0-hdfs-namenode-3.3.4-1.el7.x86_64.rpm

    Ambari+Bigtop 一站式编译和部署解决方案 https://gitee.com/tt-bigdata/ambari-env

    hadoop-hdfs-1.docx

    HDFS题库知识点总结 ...HDFS是Hadoop生态系统中的分布式文件系统,通过NameNode和DataNode实现数据的存储和管理。HDFS提供了高效、可靠的数据存储解决方案,广泛应用于大数据、云计算、人工智能等领域。

Global site tag (gtag.js) - Google Analytics