`
h140465
  • 浏览: 21862 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Hadoop-common之WritableFactories

阅读更多

      WritableFactories是个工厂类,通过它可以创建实例对象。原文中对此对象的注释是Factories for non-public writables,我的理解是处理那些不确定类型的对象进行实例化。例如在ObjectWritable的readObject方法中就调用了WritableFactories     

 public static Object readObject(DataInput in, ObjectWritable objectWritable, Configuration conf)
    throws IOException {
	.......
                  // Writable
      Class instanceClass = null;
      String str = UTF8.readString(in);
      instanceClass = loadClass(conf, str);
      
      Writable writable = WritableFactories.newInstance(instanceClass, conf);
      writable.readFields(in);
      instance = writable;

     .....

    return instance;
      
  }

     WritableFactories提供了注册机制,用户可以对某种类型自定义一个WritableFactory,然后调用WritableFactories的setFactory方法进行注册。WritableFactories.setFactory() 需要两个参数,分别是 

注册类对应的类对象和能够构造注册类的WritableFactory 接口的实现     

 private static final Map<Class, WritableFactory> CLASS_TO_FACTORY =
    new ConcurrentHashMap<Class, WritableFactory>();

  private WritableFactories() {}                  // singleton

  /** Define a factory for a class. */
  public static void setFactory(Class c, WritableFactory factory) {
    CLASS_TO_FACTORY.put(c, factory);
  }

    在HDFS的Block类中,就调用了此方法    

public class Block implements Writable, Comparable<Block> {
  public static final String BLOCK_FILE_PREFIX = "blk_";
  public static final String METADATA_EXTENSION = ".meta";
  static {                                      // register a ctor
    WritableFactories.setFactory
      (Block.class,
       new WritableFactory() {
         @Override
         public Writable newInstance() { return new Block(); }
       });
  }

    WritableFactories的核心方法当然是创建对接咯:newInstance。它的处理逻辑很简单,首先通过类型找到对应的工厂类,然后用工厂类创建实例对象,如果没有工厂类,则用Java的反射机制创建   

/** Create a new instance of a class with a defined factory. */
  public static Writable newInstance(Class<? extends Writable> c, Configuration conf) {
	//根据类型获取对应的工厂实现类
    WritableFactory factory = WritableFactories.getFactory(c);
    if (factory != null) {
      //通过实现工厂创建实例
      Writable result = factory.newInstance();
      //如果实例是可配置的,注入Configuration对象
      if (result instanceof Configurable) {
        ((Configurable) result).setConf(conf);
      }
      return result;
    } else {
      //如果没有对应实现类,则用反射创建实例
      return ReflectionUtils.newInstance(c, conf);
    }
  }

 

分享到:
评论

相关推荐

    hadoop-common-2.7.3-API文档-中文版.zip

    赠送jar包:hadoop-common-2.7.3.jar; 赠送原API文档:hadoop-common-2.7.3-javadoc.jar; 赠送源代码:hadoop-common-2.7.3-sources.jar; 赠送Maven依赖信息文件:hadoop-common-2.7.3.pom; 包含翻译后的API文档...

    hadoop-common-2.6.0-bin-master.zip

    `hadoop-common-2.6.0-bin-master.zip` 是一个针对Hadoop 2.6.0版本的压缩包,特别适用于在Windows环境下进行本地开发和测试。这个版本的Hadoop包含了对Windows系统的优化,比如提供了`winutils.exe`,这是在Windows...

    hadoop-common-2.7.3.jar

    hadoop-common-2.7.3.jar 下载 

    hadoop-common-2.7.2.jar

    hadoop-common-2.7.2.jar

    hadoop-common-3.3.0.jar

    hadoop-common-3.3.0.jar

    hadoop-yarn-common-2.6.5-API文档-中文版.zip

    赠送jar包:hadoop-yarn-common-2.6.5.jar 赠送原API文档:hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码:hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档:hadoop-yarn-common-2.6.5-javadoc-...

    hadoop-common-2.6.5-API文档-中文版.zip

    赠送jar包:hadoop-common-2.6.5.jar 赠送原API文档:hadoop-common-2.6.5-javadoc.jar 赠送源代码:hadoop-common-2.6.5-sources.jar 包含翻译后的API文档:hadoop-common-2.6.5-javadoc-API文档-中文(简体)版....

    hadoop-common-2.2.0-bin-master.zip

    hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop和Spark需要的winutils.exe),Windows下IDEA开发Hadoop和Spark程序会报错,原因是因为如果本机操作系统是windows,在程序中使用了hadoop相关的东西,比如写入...

    hadoop-common 2.6.0 至 hadoop-common2.8.1 bin包

    hadoop-common 2.6.0,hadoop-common 2.6.3,hadoop-common 2.6.4,hadoop-common 2.7.1,hadoop-common 2.8.0,hadoop-common 2.8.1

    hadoop-common-2.2.0-bin

    标题 "hadoop-common-2.2.0-bin" 指的是Hadoop的公共库模块在2.2.0版本的二进制发行版。这个发行版包含了运行Hadoop分布式文件系统(HDFS)和MapReduce计算框架所需的基本组件和服务。Hadoop是大数据处理的核心工具...

    hadoop-common-2.7.1-bin-master.zip

    Hadoop作为一个开源的分布式计算框架,其组件众多,而“hadoop-common-2.7.1-bin-master.zip”正是其中的重要组成部分——Hadoop Common的工具包。这个压缩包包含了运行Hadoop集群所必需的一些基础工具和库文件,...

    hadoop-common-2.7.5.jar

    hadoop-common-2.7.5.jar,可以直接使用,需要用的直接下载即可。

    hadoop-common-2.7.3-bin-master包含hadoop.dll、winutils.exe

    Hadoop 2.7.3是Hadoop的一个版本,其中包含了`hadoop-common-2.7.3-bin`这个模块,这个模块是Hadoop的基本组件集合,提供了在不同操作系统上运行Hadoop所需的各种工具和库。 标题中提到的`hadoop.dll`和`winutils....

    hadoop-mapreduce-client-common-2.6.5-API文档-中英对照版.zip

    赠送jar包:hadoop-mapreduce-client-common-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-common-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-common-2.6.5-sources.jar; 赠送Maven依赖信息...

    hadoop最新版本3.1.1全量jar包

    hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...

    hadoop-common-0.23.8.jar_hadoop_

    使用"Hadoop-common-0.23.8.jar",开发者和数据分析师能够构建和运行各种Hadoop应用,实现大数据的存储、处理和分析。在实际应用中,这个jar文件通常会与Hadoop的其他组件一起部署,共同构成一个完整的Hadoop集群。 ...

    hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop2.2需要的winutils.exe)

    这个压缩包“hadoop-common-2.2.0-bin-master”是Hadoop 2.2.0版本的公共库二进制版本,包含了在Windows平台上开发和运行Hadoop所需的一些关键工具,特别是对于开发者来说非常重要的`winutils.exe`。 `winutils.exe...

    hadoop-common-2.7.1-bin-master-master.zip

    本篇将围绕"Hadoop-common-2.7.1-bin-master-master.zip"这一压缩包,详细阐述其内容、作用以及在实际操作中的应用场景。 Hadoop Common 2.7.1是Hadoop生态系统中的核心组件之一,主要提供了Hadoop系统运行所需的...

    hadoop-common-2.2.0-bin-master

    在“hadoop-common-2.2.0-bin-master”压缩包中,readme.txt文件通常包含了安装、配置和使用Hadoop Common的基本指南。对于初学者来说,这是一个宝贵的资源,可以帮助快速理解和启动Hadoop环境。 五、Hadoop Common...

    hadoop-common-2.6.0-bin-master

    标题中的“hadoop-common-2.6.0-bin-master”指的是Hadoop Common的2.6.0版本的源码编译后的二进制主目录,这个目录包含了运行Hadoop所需的各种基础工具和库。 在Windows 10环境下,由于操作系统本身的特性和Linux...

Global site tag (gtag.js) - Google Analytics