`

ElasticSearch不同类型下同名字段排序错误

 
阅读更多
虽然之前知道elasticsearch不同类型下同名字段要慎用,并且会出问题,但是只真正碰到了才印象深刻啊,前几天就碰到了,是关于一个排序的问题,事情的经过是这样的,在异常服务重启之后,某个查询突然出问题了,提示信息显示的是排序失败,如下:
1
2

{"error":"SearchPhaseExecutionException[Failed to execute phase [query], total failure; shardFailures {[Pqdw_LAFSbOfyo9yVU9aaw][xxx][0]: QueryPhaseExecutionException[[xxx][0]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@1693f17f>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }{[Pqdw_LAFSbOfyo9yVU9aaw][xxx][1]: QueryPhaseExecutionException[[xxx][1]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@3a18c8ca>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }{[Pqdw_LAFSbOfyo9yVU9aaw][xxx][2]: QueryPhaseExecutionException[[xxx][2]: query[ConstantScore(*:*)],from[0],size[10],sort[<custom:\"ActivityTimestamp\": org.elasticsearch.index.field.data.strings.StringFieldDataType$1@31266392>]: Query Failed [Failed to execute main query]]; nested: IOException[Can't sort on string types with more than one value per doc, or more than one token per field]; }]","status":500}
事实上这个问题很奇怪,没有动过该索引的任何东西,不过问题出现前倒是动了下服务器,重启了ES,结果第二天就出了这个问题,看来服务端有些问题。
拿到数据,一顿调试之后发现问题了。
该索引xxx下存在不同类型的相同字段名,并且悲催的是类型不一样,原因是后面新加了两个类型,由于是动态创建的,造成了和已存在的同名字段类型的不一致,(已存在的为DateTime类型,自动创建的是String类型)
在构建查询的时候,如果有排序的条件,会调用\SortParseElement.java类里面的addSortField方法,在
1
FieldMapper fieldMapper = context.mapperService().smartNameFieldMapper(fieldName);
这句,会根据字段的名称来获取对应的FieldMappper,如String类型对应的Mapper为StringFieldMapper,DateTime类型的Mapper为LongFieldMapper,然后会选择不同的FieldDataLoader,因为不同类型存储在lucene格式是不一样的,所以如果loader类型不对,加载的数据就解析不到正确的类型(可以理解为反序列化),如下图,同名字段出现了多个定义,通过字段名拿mapping定义的时候,非常朴实的就拿了第一个,而不是我期望的.
然后数据就不对了,当做string来处理,并且认为该字段包含了多个值,调用到了错误的StringOrdValFieldDataComparator类,并且在setNextReader这个方法里面直接抛异常了
1
2
3
4
FieldData cleanFieldData = fieldDataCache.cache(FieldDataType.DefaultTypes.STRING, reader, field);
        if (cleanFieldData instanceof MultiValueStringFieldData) {
            throw new IOException("Can't sort on string types with more than one value per doc, or more than one token per field");
        }
这个问题只有在需要排序的时候出现,并且只在拿到错误的的field mapping的时候才会出现,非常隐蔽,需要特别注意哦。
ES在多类型下的同名字段的处理,确实有些问题,但也确实不好处理,如果要支持多个类型的搜索,除非条件中明确包含了是在那个类型下,这样ES才好判断具体应该取那个mapping,当然ES最好在已经明确类型的情况下,应该选择合适的Mapping(回头向shay吐吐槽),所以最好的方法就是避免同名,否则一定要保证类型一致。
分享到:
评论

相关推荐

    springboot整合elasticsearch7实现es数据同步,查询、相关度排序、高亮显示、自动补全搜索等功能。

    springboot整合elasticsearch7,进行数据同步。elasticsearch相关度查询、排序。高亮显示;自动补全等功能。代码仅供参考,代码中有具体的注释,可以根据代码及注释内容,对自己项目架构及业务进行修改、整合。

    ES查询客户端,elasticsearch可视化工具 elasticsearch查询客户端

    Elasticsearch(简称ES)是一款强大的开源搜索引擎,广泛应用于数据检索、分析和管理。作为分布式、RESTful风格的搜索和数据分析引擎,Elasticsearch能够提供实时、高可用性以及可扩展的搜索功能。在进行日常的数据...

    elasticsearch elasticsearch-6.2.2 elasticsearch-6.2.2.zip 下载

    根据提供的文件信息,我们可以推断出本篇文章将围绕Elasticsearch 6.2.2版本进行详细介绍,包括其下载方式、主要功能特性以及在实际应用中的常见用途。 ### Elasticsearch简介 Elasticsearch是一款基于Lucene的...

    elasticSearch(ES)最新版 ik分词插件7.10 elasticsearch-analysis-ik-7.10.0

    Elasticsearch(ES)是一种流行的开源全文搜索引擎,它基于Lucene构建,提供了分布式、RESTful风格的搜索和分析引擎服务。在中文环境下,为了实现精确的分词和搜索,我们需要安装适合版本的分词插件,如“elastic...

    ElasticSearch集群节点类型

    在Elasticsearch中,节点的类型主要有4种: master节点: 配置文件中node.master属性为true(默认为true),就有资格被选为master节点。 master节点用于控制整个集群的操作。比如创建或删除索引,管理其它非master...

    elasticsearch 8.11.3 windows安装包

    Elasticsearch 为所有类型的数据提供近乎实时的搜索和分析。无论您拥有结构化或非结构化文本、数字数据还是地理空间数据,Elasticsearch 都能以支持快速搜索的方式高效地存储和索引它。您可以超越简单的数据检索和...

    ES客户端+谷歌浏览器插件+Multi-Elasticsearch-Head

    使用Multi-Elasticsearch-Head,管理员或开发者可以轻松地查看和对比不同集群的状态、性能指标以及数据分布,这对于分布式系统监控和故障排查特别有用。它通常提供了一种直观的方式来查看索引结构、执行查询语句、...

    (狂神)ElasticSearch快速入门笔记,ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)

    (狂神)ElasticSearch快速入门笔记,ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西,特别适合新手学习,笔记保存下来可以多看看。好记性不如烂笔头哦~,ElasticSearch,简称es,es是一个...

    ElasticSearch官方测试数据

    Elasticsearch(ES)是一种流行的开源全文搜索引擎,它基于Lucene库构建,被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源,可以帮助...

    Elasticsearch 开发手册

    在数据抽取 ELT 领域,ES 全家桶 ELK(Elasticsearch+Logstash+Kibana)赫赫有名。 Elasticsearch 基本概念: * 倒排索引:Elasticsearch 为什么快,核心设计理念就是采用了倒排索引机制。倒排索引的方式是,根据 ...

    elasticsearch服务器安装包

    2. **下载安装包**:这里的"es安装包"即为Elasticsearch的安装文件,通常是一个zip或tar.gz格式的压缩包。你需要从官方网站或者镜像站点下载对应版本的安装包,确保与你的系统兼容。 3. **解压安装**:下载完成后,...

    elasticsearch7.14.0.zip

    这个压缩包包含了针对Windows和Linux操作系统的安装包,便于在不同环境下部署和使用Elasticsearch。此外,它还提供了多个插件的源码,如IK分词器、Pinyin插件和HanLP自然语言处理库,这些插件为Elasticsearch增加了...

    elasticsearch常用版本

    在本文中,我们将深入探讨Elasticsearch的不同版本及其使用。 标题提及的"elasticsearch常用版本"意味着我们将关注几个Elasticsearch的主流版本,包括elasticsearch-2.4.4、elasticsearch-6.2.3。每个版本都有其...

    解决spring-data-elasticsearch 5.4.0 不支持 5.4.1的elasticsearch问题

    Spring Data Elasticsearch 5.4.0设计时可能并未考虑到与Elasticsearch 5.4.1的完全兼容,导致在升级Elasticsearch到5.4.1后,系统报出"NoNodeAvailableException"错误,提示无法连接到任何节点。这个问题主要是由于...

    7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器

    适用于7.17.1系列,例如Elasticsearch的7.17.12版本。 elasticsearch-analysis-ik 是一个常用的中文分词器,在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个...

    elasticsearch-6.8.0+elasticsearch-analysis-ik-6.8.0 .zip

    在6.8.0版本中,Elasticsearch 提供了强大的索引管理和查询功能,支持多种数据类型,如文本、数值、日期等。此版本对性能进行了优化,增强了稳定性,并修复了一些已知问题。它还支持多租户,允许在一个集群中管理多...

    elasticsearch windows 7.17.16 解压安装包

    Elasticsearch 为所有类型的数据提供近乎实时的搜索和分析。无论您拥有结构化或非结构化文本、数字数据还是地理空间数据,Elasticsearch 都能以支持快速搜索的方式高效地存储和索引它。您可以超越简单的数据检索和...

    es-head Elasticsearch的可视化操作插件

    es-head是一个针对Elasticsearch的可视化操作插件。它提供了一个便捷的操作工具,可以连接Elasticsearch搜索引擎,并提供可视化的操作页面,对Elasticsearch进行各种设置和数据检索功能的管理。 es-head 插件可以在...

Global site tag (gtag.js) - Google Analytics