elasticsearch的索引逻辑简单分析,这里只是理清主要的脉络,一些细节方面以后的文章或会阐述。
假如通过java api来调用es的索引接口,先是构造成一个json串(es里表示为XContent,是对要处理的内容进行抽象),在IndexRequest里面指定要索引文档到那个索引库(index)、其类型(type)还有文档的id,如果没有指定文档的id,es会通过UUID工具自动生成一个uuid,代码在IndexRequest的process方法内。
if (allowIdGeneration) { if (id == null ) { id(UUID.randomBase64UUID()); opType(IndexRequest.OpType.CREATE); } } |
然后使用封装过netty的TransportService通过tcp协议发送请求到es服务器(rest的话就是通过http协议)。
服务器获得TransportAction后解析索引请求(TransportShardReplicationOperationAction)。到AsyncShardOperationAction.start()方法开始进行分片操作,先读取集群状态,把目标索引及其分片信息提取出来,根据索引数据的id、类型以及索引分片信息进行哈希取模,确定把该条数据分配到那个分片。
private int shardId(ClusterState clusterState, String index, String type, @Nullable String id, @Nullable String routing) { if (routing == null ) { if (!useType) { return Math.abs(hash(id) % indexMetaData(clusterState, index).numberOfShards()); } else { return Math.abs(hash(type, id) % indexMetaData(clusterState, index).numberOfShards()); } } return Math.abs(hash(routing) % indexMetaData(clusterState, index).numberOfShards()); } |
并找到数据要分配到的分片的主分片,先把索引请求提交到主分片处理(TransportIndexAction.shardOperationOnPrimary)。
判断是否必须要指定routing值
MappingMetaData mappingMd = clusterState.metaData().index(request.index()).mappingOrDefault(request.type()); if (mappingMd != null && mappingMd.routing().required()) { if (request.routing() == null ) { throw new RoutingMissingException(request.index(), request.type(), request.id()); } } |
判断索引操作的类型,索引操作有两种,一种是INDEX,当要索引的文档id已经存在时,不会覆盖原来的文档,只是更新原来文档。一种是CREATE,当索引文档id存在时,会抛出该文档已存在的错误。
if (request.opType() == IndexRequest.OpType.INDEX) |
调用InternalIndexShard进行索引操作。
Engine.Index index = indexShard.prepareIndex(sourceToParse) .version(request.version()) .versionType(request.versionType()) .origin(Engine.Operation.Origin.PRIMARY); indexShard.index(index); |
通过(InternalIndexShard)查找与请求索引数据类型(type)相符的mapping。对要索引的json字符串进行解析,根据mapping转换为对应的解析结果ParsedDocument 。
public Engine.Index prepareIndex(SourceToParse source) throws ElasticSearchException { long startTime = System.nanoTime(); DocumentMapper docMapper = mapperService.documentMapperWithAutoCreate(source.type()); ParsedDocument doc = docMapper.parse(source); return new Engine.Index(docMapper, docMapper.uidMapper().term(doc.uid()), doc).startTime(startTime); } |
最后调用RobinEngine中的相关方法(添加或修改)对底层lucene进行操作,这里是写入到lucene的内存索引中(RobinEngine.innerIndex)。
if (currentVersion == - 1 ) { // document does not exists, we can optimize for create if (index.docs().size() > 1 ) { writer.addDocuments(index.docs(), index.analyzer()); } else { writer.addDocument(index.docs().get( 0 ), index.analyzer()); } } else { if (index.docs().size() > 1 ) { writer.updateDocuments(index.uid(), index.docs(), index.analyzer()); } else { writer.updateDocument(index.uid(), index.docs().get( 0 ), index.analyzer()); } } |
写入内存索引后还会写入到Translog(Translog是对索引的操作日志,会记录没有持久化的操作)中,防止flush前断电导致索引数据丢失。
Translog.Location translogLocation = translog.add( new Translog.Create(create)); |
主分片索引请求完就把请求发给副本进行索引操作。最后把成功信息返回给客户端。
相关推荐
Elasticsearch(ES)作为一个开源的全文搜索引擎,因其强大的搜索功能和分布式特性而备受青睐。然而,对于中文这种复杂的语言,分词是搜索引擎理解文本的关键步骤。本文将详细介绍elasticsearch-analysis-ik-7.10.2...
在IT领域,尤其是在搜索引擎优化和大数据分析中,Elasticsearch(ES)是一个广泛使用的开源全文检索引擎。它基于Lucene库,提供了分布式、实时、高可用性以及容错能力的数据存储和搜索解决方案。本篇文章将重点讲解...
Elasticsearch(ES)是一款功能强大的全文搜索引擎,广泛应用于数据检索、数据分析等领域。为了提高搜索的准确性和便利性,Elasticsearch提供了丰富的分析插件,其中"elasticsearch-analysis-dynamic-synonym-7.2.0...
Elasticsearch是一款基于Lucene的开源搜索和分析引擎,它提供了分布式、实时的搜索和分析能力,适用于日志分析、信息检索、监控等多种场景。Elasticsearch的核心功能包括全文搜索、聚合分析和实时数据存储。 二、...
Elasticsearch 是一款高度可扩展的开源全文搜索引擎,它提供了实时、分布式的搜索和分析功能。在处理中文文档时,我们需要一个能够理解中文语言的分词器,这就是IK(Intelligent Chinese)分析器的用武之地。...
Elasticsearch Analysis IK 8.11.0 是一个专为Elasticsearch 8.11.0版本设计的中文分词插件,其主要目标是提供对中文文本的高效、精确的分词能力,以提升搜索引擎的索引质量和查询效果。这个插件分为粗粒度和细粒度...
Elasticsearch是一款高性能、分布式、全文搜索引擎,广泛应用于日志分析、信息检索、大数据分析等领域。其强大的搜索功能得益于其对文本的智能处理,而中文分词则是这一处理过程的关键环节。 中文分词是中文文本...
Elasticsearch是一个强大的开源搜索引擎和分析引擎,广泛应用于大数据处理和实时分析领域。"elasticsearch-analysis-ik"是针对Elasticsearch的一个中文分词插件,它的主要功能是提供高效、精准的中文分词能力,使得...
Elasticsearch是一个强大的开源搜索引擎,广泛应用于数据存储和分析领域。为了增强其对文本的处理能力,特别是中文分词和语义理解,开发者通常会利用各种插件来扩展其功能。"elasticsearch-analysis-dynamic-synonym...
Elasticsearch是一个强大的开源搜索引擎,广泛应用于大数据分析和实时数据检索。在中文处理方面,它需要依赖特定的分词插件来对文本进行有效的索引和搜索。在给定的标题和描述中,提到了两个重要的插件:"elastic...
Elasticsearch(简称ES)是一款强大的开源搜索引擎,广泛应用于大数据领域的全文检索。它以其高可扩展性、实时性能以及丰富的分析能力著称。在中文环境下,由于汉字的复杂性,分词是实现有效搜索的关键步骤。为此,...
Elasticsearch 分析插件 "analysis-ik" 是一个针对中文分词的高效工具,尤其在处理中文文本的搜索引擎优化方面表现出色。该插件的主要目的是为了更好地支持中文的全文检索,通过细致的分词处理,提高搜索结果的...
Elasticsearch是一种流行且功能强大的分布式搜索引擎,常用于大数据分析、日志分析、全文检索等场景。Kettle,又称Pentaho Data Integration(PDI),是一款开源的数据集成工具,它提供了ETL(提取、转换、加载)...
Elasticsearch是一个强大的分布式搜索引擎和分析工具,常用于大数据处理和实时分析。在标题中提到的"elasticsearch-bulk-insert-plugin-8.2.0.0-342.zip"是一个针对Kettle(也称为Pentaho Data Integration)的插件...
Elasticsearch 分析插件 `elasticsearch-analysis-ik` 是一个专门为 Elasticsearch 设计的中文分词器,其7.7.0版本是针对 Elasticsearch 7.7.0 版本优化的。这个插件的主要作用在于对中文文本进行智能分析,将其拆分...
kettle 支持elasticsearch7.x 批量上传的插件,减压后放到data-integration\plugins 目录下即可
Elasticsearch 是一款功能强大的开源搜索引擎,它基于 Lucene 库,提供了一个分布式、实时、可扩展的搜索和分析引擎。本方案主要探讨如何利用 Java API 来与 Elasticsearch 进行交互,实现高效、稳定的分布式搜索...
3. 实时分析:Elasticsearch 提供了实时分析功能,可以快速地对大量数据进行搜索和分析,非常适合用于日志分析、用户行为追踪和实时监控等场景。 4. Lucene 底层引擎:Elasticsearch 的搜索能力基于 Apache Lucene...
安装该插件后,Elasticsearch可以理解并处理中文文本,将其转换为拼音形式,进而进行索引和搜索。这对于中文用户来说非常实用,因为许多中文词汇的拼音是相似的,通过拼音搜索可以找到更多相关的结果。例如,搜索...
**Elasticsearch Head 插件详解** Elasticsearch Head 是一个非常实用的开源工具,用于可视化管理和监控 Elasticsearch 集群。在这个“elasticsearch-head-chrome-master.zip”压缩包中,我们得到了 Chrome 浏览器...