`
liuxinglanyue
  • 浏览: 562700 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Lucene 索引拆分大小库设计

阅读更多

原文: http://tangfl.yo2.cn/

Lucene 索引拆分大小库设计

TangFulin <tangfulin#gmail.com>

一. Index Writer:

1. IndexRebuilder 只重建一个索引,建成后替换 IndexUpdater 的大库,替换的同时清空 IndexUpdater 的小库
2. IndexUpdater 维护 2 个索引:大库 和 小库,定期合并小库到大库(同时合并 delete 记录),并清空小库
3. add:    添加到小库
4. delete:删除大库里的原记录,删除小库里的原记录
5. update:删除大库里的原记录,删除小库里的原记录,add 到小库

二. Index Transfer:(rsync updater 的新索引到 Index Searcher)

1. 增量传送大库和小库的内容到 searcher 的接收目录
2. 如果小库有改动,拷贝小库到 dest 目录 (滚动目录)
3. 如果大库有改动,拷贝大库到 bigidxdest 目录 (不滚动目录,直接覆盖)
4. TODO:bigidxdest 传输出错,不一致的索引的处理

三. Index Searcher

1. 定期检测大库和小库的改动,如果有改动则打开
2. 小库有改动:打开新的索引,预热,滚动
3. 大库有改动:reopen

四. Index Cleaner

1. 定期清理已关闭或跳过的索引 (大库不需要清理)

五. Index Monitor

1. 监控

分享到:
评论

相关推荐

    深入 Lucene 索引机制

    以下是对Lucene索引机制的详细解析: 一、Lucene的索引过程 1. 文档分析:当向Lucene添加文档时,首先会经过一个分词器(Tokenizer),将文本拆分成一系列的词项(Token)。接着,这些词项会被过滤(Filter)和...

    lucene索引结构原理

    6. **段(Segment)**:为了提高效率,Lucene将大型索引拆分为多个较小的段。每个段都包含一个完整的倒排索引,新添加的文档会被写入新的段,旧的段可以被合并以减少段的数量。 7. **字段(Field)**:文档由多个...

    lucene索引优化多线程多目录创建索引

    在IT领域,Lucene是一个非常重要的全文搜索引擎库,被广泛应用于各种信息检索系统。本教程主要探讨的是如何利用Lucene进行索引优化,特别是通过多线程和处理多个目录来提高索引创建效率。 首先,我们需要理解Lucene...

    基于lucene技术的增量索引

    Lucene通过分析这些文本,将其拆分为术语,并在倒排索引中存储每个术语的位置信息,以便快速定位到包含特定术语的文档。 **2. 增量索引的概念** 增量索引的目的是避免重新构建整个索引,尤其是在大型数据集上,这...

    ik分词器2012和lucene的资源和jar包以及lucene索引查看工具

    例如Luke工具(Lucene Index Viewer),它是一个GUI应用程序,可以打开并浏览Lucene索引的详细信息,包括字段、文档、术语及其频率等。这个工具对于开发和优化搜索性能非常有用。 5. **使用流程**: - **创建索引*...

    lucene索引的简单使用

    创建Lucene索引主要包括以下几个步骤: 1. **创建Analyzer**:Analyzer负责分词,即将输入的文本拆分成一个个有意义的词语。根据语言特性,可以选择不同的Analyzer,如StandardAnalyzer(默认)适用于英文,...

    lucene 索引工具源码(桌面版)

    Lucene 是一个开源的全文检索库,由 Apache 软件基金会开发,广泛应用于各种文本检索和搜索引擎的构建。这个“lucene 索引工具源码(桌面版)”显然是一个基于 Lucene 的应用程序,旨在帮助用户创建针对不同语言(如...

    基于LUCENE的搜索引擎的设计与实现源代码

    本文将深入探讨如何使用Apache LUCENE这一强大的全文搜索引擎库,设计并实现一个高效的搜索引擎。LUCENE是一款开源的Java库,它为开发者提供了构建搜索引擎所需的核心功能,包括索引创建、文本分析和查询执行。 一...

    lucene全文索引

    在给定的`MailDAO.java`文件中,可能包含了一个用于操作邮件数据的DAO(Data Access Object)类,通过这个类,我们可以将邮件内容存储到Lucene索引中,或者从索引中检索相关的邮件信息。使用DAO模式,有助于保持业务...

    Lucene建立索引

    - 在构建过程中,Lucene会分析文本,将每个文档拆分成词项(tokens),然后为每个词项建立一个倒排列表,列出包含该词项的所有文档及其位置信息。 3. **Lucene建立索引步骤** - **初始化**: 创建`IndexWriter`...

    Lucene.NET全文索引搜索Demo项目

    Lucene.NET是一个基于Apache Lucene的开源全文搜索引擎库,它为.NET Framework提供高性能、可扩展的信息检索服务。这个"Lucene.NET全文索引搜索Demo项目"是一个实际应用示例,展示了如何在.NET环境中使用Lucene.NET...

    Lucene5学习之创建索引入门示例

    Lucene是一个开源的Java库,它提供了索引和搜索大量文本数据的能力。索引过程将文本转换为可搜索的数据结构,而搜索则通过这个索引来快速找到相关文档。在这个过程中,我们通常会涉及到以下关键组件: 1. **...

    Lucene检索文本,建立索引

    首先,**Lucene** 是一个开源的Java库,它提供了完整的搜索功能,包括分词、索引创建、查询解析和结果排序。它的核心功能是能够对文本进行分析,将文本拆分成有意义的单元——称为“词项”(tokens),然后创建一个...

    Lucene.NET结合Sql建立全文检索Demo源码

    Lucene.NET是一个开源的全文搜索引擎库,它是Apache Lucene项目的一部分,专为.NET Framework设计。这个项目的目标是提供一个高性能、可扩展且易于使用的全文检索API。在.NET环境中,它使得开发者能够快速地在自己的...

    lucene.net 索引文件图形界面管理器

    总之,Lucene.NET 是一个强大且灵活的全文检索库,通过图形界面管理器如 NLuke,开发者可以更便捷地管理和优化索引,提升应用的搜索体验。结合 .NET Framework,它为 .NET 开发者提供了强大的全文搜索能力。

    lucene in action英文版 lucene 3.30包

    2. **Lucene索引过程** 索引过程包括分析、分词、倒排索引等步骤。分析是将原始文本拆分为有意义的单元(如单词),分词是将文本转化为可索引的单元。倒排索引是Lucene的核心,它将每个词对应到包含该词的文档列表...

    lucene分词搜索,增量索引及全量索引

    Apache Lucene是一个高性能、全文本搜索库,被广泛应用于构建复杂的数据检索应用。本文将深入探讨Lucene的分词搜索、增量索引和全量索引的概念及其在实际应用中的实现方法。 一、Lucene分词搜索 Lucene的搜索功能...

    Lucene建立索引jar包和Paoding分词jar包

    在建立索引时,Lucene会对输入的文档进行分析,将其拆分成一个个的词汇,并为每个词汇创建一个倒排表,记录该词汇出现在哪些文档以及在文档中的位置信息。lucene-core-3.0.0.jar是Lucene的核心库,包含了构建和查询...

    深入了解Lucene之二 索引结构.ppt

    Lucene是一个强大的全文搜索引擎库,它的核心功能之一就是构建高效的索引结构,使得数据的检索过程快速而精准。本篇内容将详细解析Lucene的索引结构,帮助你更好地理解和运用这个强大的工具。 首先,我们要明白索引...

Global site tag (gtag.js) - Google Analytics