`
蔚蓝搁浅
  • 浏览: 10082 次
  • 性别: Icon_minigender_1
  • 来自: 珠海
社区版块
存档分类
最新评论
  • transist: 不知道近实时搜索是如何实现的?
    Solr

Elasticsearch优化

阅读更多

先阶段ES优化主要在两方面:1.索引数据;2.检索。

ES索引过程是为分布式,在Lucene基础上添加了tranlog来调节数据平衡。我们可以关闭tranlog进行手动调节或者调整flush_threshold_ops数,通过索引的settings:
"index.translog.flush_threshold_ops": "100000"     ----当数据达到value(100000)条进行平衡,默认为5000
"index.refresh_interval": "-1"                                   ----刷新频率,相当于lucene的commit,commit之后才能被检索到

一.副本数

其数据平衡tranlog跟副本数也有关,最好是待索引完成后添加副本量:"number_of_replicas": 0 (建完索引后在执行Optimize后,马上将副本数调整过来)。

二.分片数

并不是分片数越多就越好,需要通过测试、调整后再设置(确定分片数之前需要进行单服务单索引单分片的测试)。

三.索引段

索引段越多检索越慢,ES索引过程中会refresh和tranlog产生segments number可能会有多个,可通过设置来限制:$ curl -XPOST 'http://localhost:9200/twitter/_optimize? max_num_segments =1'

四.删除文档

通过deleteByQuery进行删除操作,其数据并不会马上从硬盘上除去;是先产生一个.del的文件,这部分数据也会参与到检索,拖累检索速度,最好做清除处理:

$ curl -XPOST 'http://localhost:9200/twitter/_optimize? only_expunge_deletes =true'

 

 

 

分享到:
评论

相关推荐

    ElasticSearch优化

    ElasticSearch优化知识点包括: 1. 模块介绍: ElasticSearch是一个基于Lucene构建的开源搜索引擎,旨在提供实时的搜索功能。它广泛应用于日志数据分析、搜索应用等场景。ElasticSearch通过分布式设计和分片技术,...

    Elasticsearch优化及升级1

    **Elasticsearch 优化与升级详解** Elasticsearch 是一个高度可扩展的开源全文搜索引擎,广泛应用于数据分析和日志检索。为了确保 Elasticsearch 集群高效稳定运行,我们需要对其进行优化和适时升级。以下是一些...

    9-1+OLAP场景下Elasticsearch优化实践.pdf

    【标题】:“9-1+OLAP场景下Elasticsearch优化实践.pdf” 【主题】:在OLAP(在线分析处理)场景中对Elasticsearch进行性能优化 【内容概述】: 本文主要探讨了在OLAP场景下如何针对Elasticsearch进行优化,以提升...

    es 优化指南ppt

    Elasticsearch在vivo互联网的最佳实践 较早的一些优化指南,文中提到未完成部分我现在实现Sliced+Scroll并行查询 https://blog.csdn.net/DPnice/article/details/79793051

    Elasticsearch优化1

    在本文中,我们将深入探讨Elasticsearch的优化策略,这些策略涵盖了内存管理、系统配置、索引设置、集群通信和数据恢复等多个方面。Elasticsearch是一个高性能的全文搜索引擎,优化其性能对于提升系统的整体效率至关...

    CMA-ES优化算法

    CMA-ES一个很好的ES优化算法, C语言程序, 很好看懂.

    es(elasticsearch)集群安装优化

    对于集群的监控和优化是很重要的一部分,如果想持久维护集群,单单靠增加物理内存,cpu,硬盘是不够的,必须通过一些方法来进行优化。本文档包含: ...3、ES集群的heap参数优化; 4、集群的硬盘和CPU设置

    ElasticSearch_优化整理

    ### ElasticSearch优化要点详解 #### 一、集群节点规划 **1. 数据节点 (node.master: false, node.data: true)** - **定义:** 此类型的节点仅作为数据节点,用于存储索引数据。 - **优势:** 通过使节点功能单一...

    elasticsearch分布式优化配置大全

    本人在实际的工作中,负责ES平台的搭建以及维护,在实际中总结的集群优化准则,所有集群通用,性能提升有3-5倍

    elasticsearch分布式优化配置总结

    本人在工作期间主要负责公司的集群维护与ES的分布式平台搭建,在这期间总结了自己的一套关于ES集群的优化配置的准则,性能提升有3-5倍,希望可以帮到你

    elasticsearch-analysis-ik-6.3.0 elasticsearch- 6.3.0 分词jar包

    Elasticsearch 分词是搜索引擎优化的关键环节,它允许我们对输入的数据进行精细化处理,以便更好地进行索引和搜索。在本场景中,我们关注的是"elasticsearch-analysis-ik-6.3.0",这是一个针对Elasticsearch 6.3.0...

    elasticsearch elasticsearch-6.2.2 elasticsearch-6.2.2.zip 下载

    Elasticsearch 6.x系列相较于5.x版本有了显著的改进和增强,尤其是在性能优化和安全性方面。具体到6.2.2版本,它不仅继承了6.x系列的优势,还针对早期版本的一些已知问题进行了修复,提高了系统的稳定性和可靠性。...

    elasticSearch(ES)最新版 ik分词插件7.10 elasticsearch-analysis-ik-7.10.0

    Elasticsearch(ES)是一种流行的开源全文搜索引擎,它基于Lucene构建,提供了分布式、RESTful风格的搜索和分析引擎服务。在中文环境下,为了实现精确的分词和搜索,我们需要安装适合版本的分词插件,如“elastic...

    百度Elasticsearch实践及优化-高攀

    在本文中,我们将深入探讨百度在Elasticsearch实践与优化方面的经验分享,主要基于高攀的演讲内容。Elasticsearch是一种流行的开源全文搜索引擎,广泛应用于大数据分析和实时搜索。百度作为中国领先的互联网技术公司...

    Windows版本(8.11)ElasticSearch、elasticsearch-head、kibana、IK分词

    **Elasticsearch 8.11 for Windows** Elasticsearch 是一个开源的分布式搜索引擎,以其高可伸缩性、实时性、灵活性以及强大的数据分析能力而闻名。在Windows平台上部署Elasticsearch,用户可以利用其强大的搜索和...

    elasticsearch服务器安装包

    2. **下载安装包**:这里的"es安装包"即为Elasticsearch的安装文件,通常是一个zip或tar.gz格式的压缩包。你需要从官方网站或者镜像站点下载对应版本的安装包,确保与你的系统兼容。 3. **解压安装**:下载完成后,...

    elasticsearch-7.8.1+elasticsearch-head

    总的来说,Elasticsearch 7.8.1版与Elasticsearch Head结合使用,为开发者和管理员提供了一个强大的工具集,用于构建、管理和优化大规模的搜索和分析应用。通过这个压缩包,你可以快速搭建环境,体验Elasticsearch的...

    elasticsearch-analysis-pinyin-7.4.0 es拼音分词器7.4.0

    Elasticsearch(简称ES)是一款强大的开源搜索引擎,广泛应用于大数据领域的全文检索。它以其高可扩展性、实时性能以及丰富的分析能力著称。在中文环境下,由于汉字的复杂性,分词是实现有效搜索的关键步骤。为此,...

Global site tag (gtag.js) - Google Analytics