`
yucang52555
  • 浏览: 69995 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

elasticSearch源码分析之插件机制

 
阅读更多
    前面已经部署了elasticSearch源码,并了解了ES组件(Modules)的组织方式,可以大致的认为ES是由一个一个的组件构成的,本文讨论ES的插件机制,插件机制只是它的一个组件,具体在(PluginsModule)。
   Modules里面有一个方法处理预处理组件:
/**
 * 处理预处理组件
 * @param modules
 */
public static void processModules(Iterable<Module> modules) {
  for (Module module : modules) {
     if (module instanceof PreProcessModule) {
        for (Module module1 : modules) {
           ((PreProcessModule) module).processModule(module1);
        }
     }
  }
}


插件调用的层次为:Modules->PluginsModule->PluginsService->XXPlugin;都是调用void processModule(Module module)方法。
区别在于
1:PluginsModule实现的是PreProcessModule接口。
2:PluginsService是自己本来的方法。
3:XXPlugin实现的是Plugin接口。
虽然他们都有processModule方法,但不是实现的同一个类。

接下来我们可以看一下插件服务具体实现的类PluginsService,具体做了什么?
查看代码:
/**
 * Constructs a new PluginService
 * @param settings The settings of the system
 * @param environment The environment of the system
 */
public PluginsService(Settings settings, Environment environment) {
  super(settings);
  this.environment = environment;
  this.checkLucene = componentSettings.getAsBoolean("check_lucene", true);
  this.esPluginPropertiesFile = componentSettings.get(ES_PLUGIN_PROPERTIES_FILE_KEY, ES_PLUGIN_PROPERTIES);
  this.loadClasspathPlugins = componentSettings.getAsBoolean(LOAD_PLUGIN_FROM_CLASSPATH, true);
  ImmutableList.Builder<Tuple<PluginInfo, Plugin>> tupleBuilder = ImmutableList.builder();
  // first we load all the default plugins from the settings
  String[] defaultPluginsClasses = settings.getAsArray("plugin.types");
  for (String pluginClass : defaultPluginsClasses) {
      Plugin plugin = loadPlugin(pluginClass, settings);
      PluginInfo pluginInfo = new PluginInfo(plugin.name(), plugin.description(), hasSite(plugin.name()), true, PluginInfo.VERSION_NOT_AVAILABLE);
      if (logger.isTraceEnabled()) {
          logger.trace("plugin loaded from settings [{}]", pluginInfo);
      }
      tupleBuilder.add(new Tuple<>(pluginInfo, plugin));
  }
  // now, find all the ones that are in the classpath
        loadPluginsIntoClassLoader();
        if (loadClasspathPlugins) {
            tupleBuilder.addAll(loadPluginsFromClasspath(settings));
        }
        this.plugins = tupleBuilder.build();

        // We need to build a List of jvm and site plugins for checking mandatory plugins
        Map<String, Plugin> jvmPlugins = Maps.newHashMap();
        List<String> sitePlugins = Lists.newArrayList();

        for (Tuple<PluginInfo, Plugin> tuple : this.plugins) {
            jvmPlugins.put(tuple.v2().name(), tuple.v2());
            if (tuple.v1().isSite()) {
                sitePlugins.add(tuple.v1().getName());
            }
        }

        // we load site plugins
        ImmutableList<Tuple<PluginInfo, Plugin>> tuples = loadSitePlugins();
        for (Tuple<PluginInfo, Plugin> tuple : tuples) {
            sitePlugins.add(tuple.v1().getName());
        }

        // Checking expected plugins
        String[] mandatoryPlugins = settings.getAsArray("plugin.mandatory", null);
        if (mandatoryPlugins != null) {
            Set<String> missingPlugins = Sets.newHashSet();
            for (String mandatoryPlugin : mandatoryPlugins) {
                if (!jvmPlugins.containsKey(mandatoryPlugin) && !sitePlugins.contains(mandatoryPlugin) && !missingPlugins.contains(mandatoryPlugin)) {
                    missingPlugins.add(mandatoryPlugin);
                }
            }
            if (!missingPlugins.isEmpty()) {
                throw new ElasticsearchException("Missing mandatory plugins [" + Strings.collectionToDelimitedString(missingPlugins, ", ") + "]");
            }
        }

        logger.info("loaded {}, sites {}", jvmPlugins.keySet(), sitePlugins);

        MapBuilder<Plugin, List<OnModuleReference>> onModuleReferences = MapBuilder.newMapBuilder();
        for (Plugin plugin : jvmPlugins.values()) {
            List<OnModuleReference> list = Lists.newArrayList();
            for (Method method : plugin.getClass().getDeclaredMethods()) {
                if (!method.getName().equals("onModule")) {
                    continue;
                }
                if (method.getParameterTypes().length == 0 || method.getParameterTypes().length > 1) {
                    logger.warn("Plugin: {} implementing onModule with no parameters or more than one parameter", plugin.name());
                    continue;
                }
                Class moduleClass = method.getParameterTypes()[0];
                if (!Module.class.isAssignableFrom(moduleClass)) {
                    logger.warn("Plugin: {} implementing onModule by the type is not of Module type {}", plugin.name(), moduleClass);
                    continue;
                }
                method.setAccessible(true);
                list.add(new OnModuleReference(moduleClass, method));
            }
            if (!list.isEmpty()) {
                onModuleReferences.put(plugin, list);
            }
        }
    this.onModuleReferences = onModuleReferences.immutableMap();

    this.refreshInterval = componentSettings.getAsTime("info_refresh_interval", TimeValue.timeValueSeconds(10));
    }

可以看出其功能是注册ES根目录/[plugins]文件夹下的所有插件。
分享到:
评论

相关推荐

    elasticsearch源码

    Elasticsearch源码分析 Elasticsearch是一款基于Lucene的分布式、RESTful搜索和数据分析引擎。它的源码解析对于我们深入理解其内部工作原理至关重要。在深入探讨之前,我们需要知道几个核心概念:分布式、RESTful ...

    Elasticsearch-5.0.1-src源码

    6. **插件系统**:Elasticsearch的插件机制允许开发者扩展其功能。源码中,你可以学习如何编写和集成自定义插件,如新的分析器、过滤器或映射类型。 7. **集群管理**:Elasticsearch集群能够自我管理和维护,包括...

    Elasticsearch7.17.5版本同义词热更新插件源码

    5. **源码分析**:对于开发者来说,深入研究源码可以帮助理解插件的工作原理,定制更符合自身需求的同义词管理功能,或者对其进行性能优化。 总的来说,"Elasticsearch7.17.5版本同义词热更新插件源码"是解决动态...

    数据导入插件elasticsearch-jdbc2.2

    **数据导入插件Elasticsearch-JDBC2.2详解** Elasticsearch-JDBC是一个非常重要的工具,它使得我们可以方便地将关系型数据库如MySQL中的数据导入到Elasticsearch搜索引擎中,实现数据的实时同步和索引。这个插件是...

    1_elasticsearch技术解析与实战

    3. **倒排索引**:Elasticsearch基于Lucene的倒排索引机制,能够快速查找包含特定词汇的文档。 4. **Sharding & Replication**:Elasticsearch通过分片(Sharding)实现水平扩展,每个分片可以分布在不同的节点上,...

    elasticsearch_ES_Elasticsearch界面_elasticsearch_源码

    **Elasticsearch(ES)详解** Elasticsearch是一款开源、分布式、实时的全文搜索引擎,它基于Lucene构建,被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。其强大的功能和易用性使得它在IT行业中备受青睐。...

    elasticsearch-5.0.1-core-main源码(eclipse工程的)

    **Elasticsearch 5.0.1 Core Main 源码分析** Elasticsearch 是一个流行的、开源的全文搜索引擎,广泛应用于数据分析、日志管理和实时搜索等场景。5.0.1 版本是 Elasticsearch 的一个重要里程碑,它引入了许多新...

    Mastering Elasticsearch Second Edition code源码

    《Mastering Elasticsearch Second Edition》是Elasticsearch领域的权威著作,其源码提供了深入理解这个分布式搜索引擎内部机制的宝贵资源。Elasticsearch是一个基于Lucene的开源全文搜索和分析引擎,广泛应用于日志...

    elasticsearch-analysis-ik-5.3.2 源码

    **Elasticsearch Analysis IK 5.3.2 源码分析** Elasticsearch是一款流行的开源全文搜索引擎,它提供了一种分布式、实时的搜索和分析引擎。在处理中文文本时,由于中文的特殊性(词语边界不明显),需要借助特定的...

    elasticsearch-5.3.2.zip

    **Elasticsearch 5.3.2 源码解析** Elasticsearch 是一个流行的、开源的全文搜索引擎,它基于 Lucene 库构建,提供了一个分布式、RESTful 风格的搜索和分析引擎服务。在5.3.2这个版本中,Elasticsearch 已经具备了...

    elasticsearch6.7.2源码

    7. **插件机制**:Elasticsearch的可扩展性得益于其强大的插件系统。通过`org.elasticsearch.plugins`包,我们可以自定义插件,扩展其功能,如添加新的分析器、搜索算法等。 在阅读源码时,理解类的继承关系和接口...

    elasticsearch-7.10.2 源码

    源码分析可以从以下几个方面入手: 1. **模块划分**:Elasticsearch 源码包括了客户端、服务器端、核心库、插件等多个模块,了解这些模块的职责有助于深入理解代码。 2. **网络通信**:基于 Netty 实现,负责节点间...

    elasticsearch5.3.0jdbc源码工程

    - `EsApi-5.3.0`:这个文件很可能是包含 Elasticsearch 5.3.0 JDBC 插件的源代码和相关 API 示例。通过导入 Eclipse,你可以查看和分析这些代码,了解如何与 Elasticsearch 进行交互,以及如何实现数据的导入。 **...

    ElasticSearch文档.pdf

    此外,Elasticsearch插件机制允许通过插件来扩展其功能。 关于源码分析,Elasticsearch使用Guice进行依赖注入和模块化系统设计,从而达到更好的扩展性和灵活性。源码分析能够帮助开发者更深入地理解Elasticsearch的...

    elasticsearch6.6.1源码

    Elasticsearch 6.6.1源码分析 Elasticsearch是一个开源的、分布式、全文检索的搜索引擎,它以其高效、灵活和可扩展性而受到广大开发者和企业的青睐。6.6.1版本是Elasticsearch发展过程中的一个重要里程碑,它在6.x...

    最详细的Elasticsearch学习资料(源码)

    Elasticsearch 是一个基于 Lucene 的开源搜索引擎,它提供了一个分布式、多租户的全文搜索和分析引擎。Elasticsearch 是用 Java 语言编写的,并且提供了 RESTful...易于扩展:Elasticsearch 提供了丰富的插件机制和扩展

    ElasticSearch分布式搜索引擎 v6.7.1-源码.zip

    9. 性能优化:源码分析可以帮助我们理解Elasticsearch的性能优化策略,如缓存机制、内存管理以及索引优化等。 10. 文档映射:Elasticsearch允许用户自定义字段类型和映射,源码中可以查看这些配置如何影响索引和...

    elasticsearch-6.4.3-全套(ela+源码+ik分词器+kibana)-linux.rar

    源码分析可以帮助我们了解Lucene(Elasticsearch的核心库)如何实现倒排索引,以及Elasticsearch如何进行分布式处理和数据存储。 接下来,`elasticsearch-analysis-ik-6.4.3.zip`是IK分词器的插件。IK分词器是...

Global site tag (gtag.js) - Google Analytics