`
书音棋
  • 浏览: 145047 次
  • 性别: Icon_minigender_1
  • 来自: 哈尔滨
社区版块
存档分类
最新评论

Metadata

阅读更多

       所谓元数据,就是数据的数据。HDFS店元数据是指维护HDFS文件系统中的文件及目录所需要的信息。

从形式上讲,元数据可分为内存元数据和元数据文件2中。其中,NameNode在内存中维护整个文件系统的元数据镜像,用户HDFS的管理;元数据文件则用于持久化存储。

    从类型区分:元数据有三种:

    第一类是文件和目录自身的属性信息,例如文件名、目录名、父目录信息、文件大小、创建时间、修改时间。

    第二类记录文件内存存储相关信息,例如文件分块情况,副本个数、每个副本所在DataNode的信息。

 

   第三类用于记录HDFS中所有的DataNode的信息,用户DataNode的管理。

 

从来源区分,元数据主要来源于NameNode磁盘上的元数据文件(包括元数据镜像文件fsimage和元数据操作日志edits两个文件)以及各个DataNode的上报信息。

 

分享到:
评论

相关推荐

    解决Android Studio Gradle Metadata特别慢的问题

    "解决Android Studio Gradle Metadata特别慢的问题" Android Studio是Android应用程序开发的官方IDE,它提供了许多功能来帮助开发者快速构建和测试Android应用程序。然而,在使用Android Studio时,有时可能会遇到...

    metadata-extractor-2.6.2-API文档-中文版.zip

    赠送jar包:metadata-extractor-2.6.2.jar; 赠送原API文档:metadata-extractor-2.6.2-javadoc.jar; 赠送源代码:metadata-extractor-2.6.2-sources.jar; 赠送Maven依赖信息文件:metadata-extractor-2.6.2.pom;...

    metadata-extractor-2.6.2-API文档-中英对照版.zip

    赠送jar包:metadata-extractor-2.6.2.jar; 赠送原API文档:metadata-extractor-2.6.2-javadoc.jar; 赠送源代码:metadata-extractor-2.6.2-sources.jar; 赠送Maven依赖信息文件:metadata-extractor-2.6.2.pom;...

    spring-plugin-metadata-2.0.0.RELEASE-API文档-中文版.zip

    赠送jar包:spring-plugin-metadata-2.0.0.RELEASE.jar; 赠送原API文档:spring-plugin-metadata-2.0.0.RELEASE-javadoc.jar; 赠送源代码:spring-plugin-metadata-2.0.0.RELEASE-sources.jar; 赠送Maven依赖信息...

    metadata-extractor-2.4.0.rar 获取图片 exif 信息

    metadata-extractor-2.4.0.rar metadata-extractor-2.4.0.rar 获取 图片 exif 信息 使用方法: File jpegFile = new File("c:\\newchangetime.jpg"); Metadata metadata = JpegMetadataReader.readMetadata(jpeg...

    DatabaseMetaData生成数据库DLL

    `DatabaseMetaData` 是Java数据库连接(JDBC)API的一部分,它提供了关于数据库模式、特性以及元数据的详细信息。本篇文章将深入探讨如何利用`DatabaseMetaData`生成数据库的DLL(在关系型数据库中,DLL通常指的是...

    metadata-extractor-2.8.1 jar包以及源码以及使用例子

    "metadata-extractor-2.8.1" 是一个Java库,专门用于从各种图像和音频文件中提取元数据。这个库是由Dave Coffin创建并维护的,它支持大量的文件格式,包括JPEG、TIFF、PNG、PDF等。元数据通常包含关于文件的详细信息...

    HDR Static Metadata Extensions(HDR标准)

    This standard specifies static High Dynamic Range (HDR) metadata extensions using an additional InfoFrame and EDID CTA data block, replacing previously reserved codes in Table 5 and Table 46 of CTA-...

    jquery.metadata.1.0_javascript_jquery_

    标题中的"jquery.metadata.1.0_javascript_jquery_"表明我们关注的是一个jQuery插件,名为jQuery Metadata。这个插件是jQuery库的一个扩展,用于解析HTML元素中的元数据(metadata)。元数据通常存储在元素的自定义...

    kotlin-metadata,.zip

    "kotlin-metadata"库是Kotlin生态系统中的一个重要组成部分,它专门用于处理Kotlin编译器生成的元数据。元数据在编译过程中记录了关于源代码的各种信息,比如类型信息、注解、函数签名等,这对于反射和编译时代码...

    Flink无法获取Kafka Topic Metadata异常及解决.docx

    Flink 无法获取 Kafka Topic Metadata 异常及解决 一、问题现象 在使用 Kafka 0.11.0.1 和 Flink 1.4 进行实时计算时,Flink 无法获取 Kafka Topic Metadata,报以下异常:org.apache.kafka.common.errors....

    Python库 | sql_metadata-1.10.0-py3-none-any.whl

    `sql_metadata` 是一个Python库,专注于处理SQL数据库的相关元数据。这个库的版本是1.10.0,以`.whl`格式提供,这是一个Python的二进制分发包,用户可以直接安装,无需编译。`.whl`文件的命名遵循PEP 427,表明该...

    SAP FRC接口调用calling RFC_METADATA_GET -- see log for details报错解决方案

    SAP.Middleware.Connector.RfcCommunicationException:“destination XXXX failed when calling RFC_METADATA_GET -- see log for details” 猜测的原因: 老的DLL库在获取接口实例时,会触发“RFC_METADATA_GET”...

    Laravel开发-metadata

    在本文中,我们将深入探讨Laravel开发中的"metadata"概念,以及如何在实际项目中运用这一功能。"metadata"在编程领域通常指的是关于数据的数据,它提供了额外的信息,帮助我们更好地理解和处理数据。在Laravel框架中...

    java读取metadata元信息

    在Java编程中,元数据(Metadata)是指关于数据的数据,它提供有关文件、数据库记录、类、方法等的附加信息,但不直接构成这些实体的实际内容。元数据可以帮助理解和处理这些对象,例如,图片的元数据可能包含拍摄...

    imageio-metadata-3.1.1-API文档-中文版.zip

    赠送jar包:imageio-metadata-3.1.1.jar; 赠送原API文档:imageio-metadata-3.1.1-javadoc.jar; 赠送源代码:imageio-metadata-3.1.1-sources.jar; 赠送Maven依赖信息文件:imageio-metadata-3.1.1.pom; 包含...

    jquery.metadata.2.0

    《jQuery Metadata插件详解及其应用》 在Web开发领域,jQuery作为一个强大的JavaScript库,极大地简化了DOM操作,事件处理和Ajax交互。而jQuery Metadata插件是jQuery生态系统中的一个重要组件,它提供了一种灵活的...

    jquery.metadata.js.zip

    《jQuery Metadata插件详解及其应用》 在JavaScript的世界里,jQuery库以其易用性和强大的功能深受开发者喜爱。而jQuery Metadata插件是jQuery生态系统中的一个重要组件,它允许开发者从HTML元素中提取元数据...

    metadata-extractor-2.11.0源码及Jar包

    "metadata-extractor-2.11.0源码及Jar包"是一个针对图像和文档元数据提取的Java库,主要用于解析各种文件格式的元数据。这个包包含了两个关键组件:`metadata-extractor-2.11.0.jar`是编译好的二进制库,可以直接在...

    mediautil+metadata-extractor

    在IT领域,尤其是在图像处理和数字媒体管理中,"mediautil+metadata-extractor"是一个用于提取和查看EXIF(Exchangeable Image File Format)信息的工具。这个工具包含两个核心组件:`meduautil-1.0.jar`和`metadata...

Global site tag (gtag.js) - Google Analytics