先阶段ES优化主要在两方面:1.索引数据;2.检索。
ES索引过程是为分布式,在Lucene基础上添加了tranlog来调节数据平衡。我们可以关闭tranlog进行手动调节或者调整flush_threshold_ops数,通过索引的settings:
"index.translog.flush_threshold_ops": "100000" ----当数据达到value(100000)条进行平衡,默认为5000
"index.refresh_interval": "-1" ----刷新频率,相当于lucene的commit,commit之后才能被检索到
一.副本数
其数据平衡tranlog跟副本数也有关,最好是待索引完成后添加副本量:"number_of_replicas": 0 (建完索引后在执行Optimize后,马上将副本数调整过来)。
二.分片数
并不是分片数越多就越好,需要通过测试、调整后再设置(确定分片数之前需要进行单服务单索引单分片的测试)。
三.索引段
索引段越多检索越慢,ES索引过程中会refresh和tranlog产生segments number可能会有多个,可通过设置来限制:$ curl -XPOST 'http://localhost:9200/twitter/_optimize? max_num_segments =1'
四.删除文档
通过deleteByQuery进行删除操作,其数据并不会马上从硬盘上除去;是先产生一个.del的文件,这部分数据也会参与到检索,拖累检索速度,最好做清除处理:
$ curl -XPOST 'http://localhost:9200/twitter/_optimize? only_expunge_deletes =true'
相关推荐
ElasticSearch优化知识点包括: 1. 模块介绍: ElasticSearch是一个基于Lucene构建的开源搜索引擎,旨在提供实时的搜索功能。它广泛应用于日志数据分析、搜索应用等场景。ElasticSearch通过分布式设计和分片技术,...
**Elasticsearch 优化与升级详解** Elasticsearch 是一个高度可扩展的开源全文搜索引擎,广泛应用于数据分析和日志检索。为了确保 Elasticsearch 集群高效稳定运行,我们需要对其进行优化和适时升级。以下是一些...
【标题】:“9-1+OLAP场景下Elasticsearch优化实践.pdf” 【主题】:在OLAP(在线分析处理)场景中对Elasticsearch进行性能优化 【内容概述】: 本文主要探讨了在OLAP场景下如何针对Elasticsearch进行优化,以提升...
Elasticsearch在vivo互联网的最佳实践 较早的一些优化指南,文中提到未完成部分我现在实现Sliced+Scroll并行查询 https://blog.csdn.net/DPnice/article/details/79793051
在本文中,我们将深入探讨Elasticsearch的优化策略,这些策略涵盖了内存管理、系统配置、索引设置、集群通信和数据恢复等多个方面。Elasticsearch是一个高性能的全文搜索引擎,优化其性能对于提升系统的整体效率至关...
CMA-ES一个很好的ES优化算法, C语言程序, 很好看懂.
对于集群的监控和优化是很重要的一部分,如果想持久维护集群,单单靠增加物理内存,cpu,硬盘是不够的,必须通过一些方法来进行优化。本文档包含: ...3、ES集群的heap参数优化; 4、集群的硬盘和CPU设置
### ElasticSearch优化要点详解 #### 一、集群节点规划 **1. 数据节点 (node.master: false, node.data: true)** - **定义:** 此类型的节点仅作为数据节点,用于存储索引数据。 - **优势:** 通过使节点功能单一...
本人在实际的工作中,负责ES平台的搭建以及维护,在实际中总结的集群优化准则,所有集群通用,性能提升有3-5倍
本人在工作期间主要负责公司的集群维护与ES的分布式平台搭建,在这期间总结了自己的一套关于ES集群的优化配置的准则,性能提升有3-5倍,希望可以帮到你
Elasticsearch 分词是搜索引擎优化的关键环节,它允许我们对输入的数据进行精细化处理,以便更好地进行索引和搜索。在本场景中,我们关注的是"elasticsearch-analysis-ik-6.3.0",这是一个针对Elasticsearch 6.3.0...
Elasticsearch 6.x系列相较于5.x版本有了显著的改进和增强,尤其是在性能优化和安全性方面。具体到6.2.2版本,它不仅继承了6.x系列的优势,还针对早期版本的一些已知问题进行了修复,提高了系统的稳定性和可靠性。...
Elasticsearch(ES)是一种流行的开源全文搜索引擎,它基于Lucene构建,提供了分布式、RESTful风格的搜索和分析引擎服务。在中文环境下,为了实现精确的分词和搜索,我们需要安装适合版本的分词插件,如“elastic...
在本文中,我们将深入探讨百度在Elasticsearch实践与优化方面的经验分享,主要基于高攀的演讲内容。Elasticsearch是一种流行的开源全文搜索引擎,广泛应用于大数据分析和实时搜索。百度作为中国领先的互联网技术公司...
**Elasticsearch 8.11 for Windows** Elasticsearch 是一个开源的分布式搜索引擎,以其高可伸缩性、实时性、灵活性以及强大的数据分析能力而闻名。在Windows平台上部署Elasticsearch,用户可以利用其强大的搜索和...
2. **下载安装包**:这里的"es安装包"即为Elasticsearch的安装文件,通常是一个zip或tar.gz格式的压缩包。你需要从官方网站或者镜像站点下载对应版本的安装包,确保与你的系统兼容。 3. **解压安装**:下载完成后,...
总的来说,Elasticsearch 7.8.1版与Elasticsearch Head结合使用,为开发者和管理员提供了一个强大的工具集,用于构建、管理和优化大规模的搜索和分析应用。通过这个压缩包,你可以快速搭建环境,体验Elasticsearch的...
Elasticsearch(简称ES)是一款强大的开源搜索引擎,广泛应用于大数据领域的全文检索。它以其高可扩展性、实时性能以及丰富的分析能力著称。在中文环境下,由于汉字的复杂性,分词是实现有效搜索的关键步骤。为此,...