`
eric_weitm
  • 浏览: 243704 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

ElasticSearch 三 建立索引快的原因

 
阅读更多

https://blog.csdn.net/u010994304/article/details/50427672

 

一、lucene 本身的机制:index分多个segment存入磁盘,新的文件存入新的segment,搜索器更新到新的segment

二、es的改进

    1、新的segment不是fsync到磁盘,而是同步到内核文件缓存(默认1s),内核文件缓存再在合适的时间真正刷磁盘

    2、fsync之前怎么保证可靠?使用translog记录这段时间的操作,translog本身每5秒刷一次磁盘

    3、合并小的旧的segment

 

 

代码:

 

Settings settings = ImmutableSettings.settingsBuilder()

 

             .put("client.transport.sniff", true)

             .put("index.refresh_interval", "1s")

             .put("cluster.name","elasticsearch")

             .build(); 

TransportClient client = new TransportClient(settings);

 

POST /blogs/_refresh

PUT /my_logs/_settings

{ "refresh_interval": "1s" }  //设置每秒刷新一次

 

分享到:
评论

相关推荐

    ElasticSearch 远程代码执行漏洞分析(CVE-2015-1427)&高级利用方法1

    ElasticSearch 远程代码执行漏洞分析(CVE-2015-1427)&高级利用方法1 ElasticSearch 是一个基于 Lucene 的搜索引擎,提供了强大的搜索功能。然而,在 2015 年,一种远程代码执行漏洞(CVE-2015-1427)被发现,影响...

    Python中elasticsearch插入和更新数据的实现方法

    在当今的大数据时代,越来越多的开发者开始使用Elasticsearch搜索引擎来建立索引、存储数据,并执行复杂的搜索查询。Elasticsearch是一个基于Lucene构建的开源搜索引擎,其具有分布式多用户的特性,可以提供实时搜索...

    Elasticsearch集群中JVM问题的应对之策

    个推在使用Elasticsearch的过程中也踩过一些坑,比如建立索引慢、节点脱离集群、请求阻塞和备份无法恢复等问题。这说明Elasticsearch集群在不同阶段和不同规模的使用过程中,都可能遇到各种挑战,需要及时调整和优化...

    Elasticsearch 是一个开源的分布式搜索和分析引擎,广泛用于实时搜索、日志和指标分析、全文搜索等应用 以下是关于 El

    对于需要快速反馈的应用场景,Elasticsearch 提供了实时索引、搜索和分析数据的能力。这意味着数据可以在短时间内被处理并准备好供查询使用,无需长时间等待数据加载完成。这一点对于需要即时反馈的应用尤为重要。 ...

    【朝夕教育】2021春招ElasticSearch高频面试题1

    8. **倒排索引**:Elasticsearch 使用倒排索引来快速定位包含特定关键词的文档,通过建立词到文档的索引关系提高搜索效率。 9. **分析器**:负责将用户输入的文本拆分成可索引的术语,包括分词、去除停用词等预处理...

    Elasticsearch的大杂烩分享_赖鸿智.pdf

    2. **索引速度下降问题**:升级至2.x版本后,发现某些索引的写入速度显著降低,原因是新版Elasticsearch默认启用了fsync机制,导致每次写操作都需要同步到磁盘。通过调整`index.translog.sync_interval`参数,改为...

    03 - 未来运维之道 - Elastic Al 助手的高效运维与数据智能 - 李捷 重庆 2024.4.27

    Elastic AI 助手是基于Elastic Stack(包括Elasticsearch、Kibana等组件)开发的一款智能运维平台。它通过利用最新的AI技术和大数据分析能力,为企业提供全方位的运维支持。主要功能包括但不限于: - **智能日志...

    全链路应用体系建设-姚捷

    姚捷还提及了系统架构的关键组件,如Flume、Kafka、Spark、Zookeeper、MySQL以及ES(ElasticSearch)等。这些组件共同工作,实现了从日志收集、上报、到告警推送以及索引建立等功能。Flume Agent作为日志收集的代理...

    搜索引擎创建索引时JVM 运行时内存溢出解决方案

    - 将索引创建任务分布到多台机器上,如使用Hadoop或Elasticsearch的分布式特性,以分散内存压力。 综上所述,解决JVM运行时内存溢出问题需要从多个角度进行:合理调整JVM内存参数、优化索引构建算法、监控系统状态...

    新蛋LuceneSearchEngine

    - 可扩展性:Lucene可以与其他技术(如Solr、Elasticsearch)集成,满足大规模数据的处理需求。 4. **使用Lucene的挑战** - 配置和优化:设置合适的分析器、字段类型、索引策略等,需要一定的专业知识。 - 索引...

    mysql.data版本集合

    3. **全文搜索**:如果“给定关键字不在字典中”是因为查询涉及的是文本字段,考虑使用全文搜索引擎如MySQL的Full-Text Search功能,或者更强大的解决方案如Elasticsearch。 4. **错误处理**:在应用程序中,应适当...

    Nutch公开课从搜索引擎到网络爬虫

    Nutch与多个项目有着紧密的联系,包括全文检索库Lucene、企业搜索平台Solr、分布式搜索和分析平台ElasticSearch、分布式计算和存储平台Hadoop、MIME类型检测工具Tika以及用于对象到NOSQL映射的Gora。这些关系表明了...

    质量平台的一种设计方案.docx

    - 数据源包括数据库表(如Hive表、ES索引)和平台(如ES集群、Hadoop集群)。 - 质量指标分为表相关(如掉零、波动、枚举值)和平台相关(如ES集群状态、Airflow DAG异常)。 - 其他配置涉及定时任务、告警设置等...

    字节前端第一期面试题(1).pdf

    ['1','2','3'].map(parseInt)的结果是[1, NaN, NaN],因为map方法会传递三个参数给回调函数,分别是当前元素的值、当前元素的索引和整个数组。而parseInt接收两个参数,第一个是字符串,第二个是基数,因此在map中...

    百度持续交付项目组面试题

    **三次握手**用于建立TCP连接: 1. 客户端发送SYN包(syn=j)给服务器,并进入SYN_SEND状态,等待服务器确认; 2. 服务器收到SYN后确认客户的SYN(ack=j+1),同时自己也发送一个SYN包(syn=k),即SYN+ACK包,此时...

    字节最新前端面试题.pdf

    - 三次握手用于建立TCP连接,双方确认彼此的发送和接收能力正常。四次挥手用于断开TCP连接,释放网络资源。 15. React中setState的同步和异步行为: - 在React中,setState可能表现为同步或异步,这取决于调用上...

Global site tag (gtag.js) - Google Analytics