`
tangfl
  • 浏览: 20261 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

Lucene 重建索引流程设计(草稿)

阅读更多
一. php client 端:
1. update 与 rebuild 分开
2. update 准实时:insert,update,delete 实时调用更新索引接口(带 primery key 的update 和 delete)
3. rebuild 使用命令行或者 cron 运行,不能使用 web 页面(有运行时间限制),但可以在后台管理系统中作触发(如何防止重复触发?)
二. Java IndexServer:(接受 client 发过来的数据,输出为临时 xml 文件)
1. 日常 update 的 xml 临时文件可以考虑保存在内存文件系统中(保留最近n天的文件debug使用)
2. 更多的处理过程 log (debug 使用,日常监控使用)
3. rebuild 的 xml 临时文件一定要保存在内存文件系统中
4. xml 文件按年或月分目录
5. rebuild 的过程中,update 数据需要为新索引保留一份,等 rebuild 完成后更新新的索引(需要一个 rebuild_update 目录, [...]

分享到:
评论

相关推荐

    lucene做索引查询流程

    lucene 做索引查询流程,来自《lucene in action》

    Lucene建索引及查询关键字

    在Eclipse环境中运用java,Lucene建索引及查询关键字

    Lucene实现索引和查询的实例讲解

    Lucene实现索引和查询的实例讲解Lucene实现索引和查询的实例讲解

    Lucene创建索引步骤

    Lucene创建索引步骤: 1、创建Directory(索引位置) 2、创建IndexWrite(写入索引) 3、创建Document对象 4、为Document添加Field(相当于添加属性:类似于表与字段的关系) 5、通过IndexWriter添加文档到索引中

    基于lucene技术的增量索引

    **基于Lucene技术的增量索引** 在信息技术领域,全文搜索引擎是处理大量数据查询的关键工具。Apache Lucene是一个开源的全文检索库,被广泛应用于构建高效、可扩展的搜索功能。本文将深入探讨如何利用Lucene实现...

    Lucene索引创建

    java创建Lucene索引

    Lucene读取索引文件

    总的来说,Lucene通过精心设计的索引结构和高效的读取机制,实现了对大量文本数据的快速检索。开发者在使用Lucene时,应充分理解其内部机制,以便更好地优化查询性能和维护索引。 在开发过程中,有时会遇到需要查看...

    lucene实现索引查询

    以上就是使用Lucene实现索引查询的基本流程。实际应用中,可能还需要考虑错误处理、性能优化、多线程支持、查询结果的排序和过滤等功能。理解并熟练运用这些知识,能帮助你构建高效、灵活的全文搜索系统。

    lucene索引结构原理

    理解Lucene的索引结构原理对于优化搜索性能和设计高效的搜索应用至关重要。 首先,我们要知道Lucene的索引并非数据库中的那种可以立即定位数据的索引,而是用于快速查找文档中包含特定单词的索引。这个过程分为以下...

    lucene 索引小示例

    本篇文章将通过一个简单的小示例,深入探讨Lucene的核心概念和操作流程。 首先,我们需要理解Lucene的索引机制。索引是Lucene处理文档的关键步骤,它将文本数据转换为一种结构化的、可快速搜索的形式。在创建索引时...

    Lucene之删除索引

    在深入探讨Lucene删除索引这一主题之前,我们先来理解一下Lucene的基本概念。Lucene是一个开源的全文搜索引擎库,由Apache软件基金会开发。它提供了高性能、可扩展的搜索和索引功能,广泛应用于各种应用程序中,如...

    基于lucene的索引与搜索

    优化这些指标是搜索引擎设计的关键,例如,通过优化索引结构、使用更精确的查询算法以及调整相关性排名策略。 2.4 小节 搜索引擎的性能依赖于网络爬虫的效率、索引的质量以及查询处理的速度。Lucene在这些方面提供...

    lucene全文检索简单索引和搜索实例

    二、Lucene索引创建流程 1. 初始化:首先,我们需要导入Lucene库,并创建一个标准的Analyzer,例如StandardAnalyzer,它对输入的文本进行标准化处理。 2. 创建索引目录:索引数据会存储在一个Directory对象中,...

    lucene并行索引

    2. **架构设计**:设计基于Lucene的分布式并行索引架构,包括数据分片策略、计算节点配置、数据传输方案等。 3. **实现细节**:开发具体的代码实现,如文档分割逻辑、节点间通信协议、合并索引算法等。 4. **测试...

    Lucene3.0创建索引

    ### Lucene3.0创建索引 在Lucene3.0中创建索引是一个关键功能,可以帮助用户快速地检索和管理大量的文本数据。本篇文章将详细介绍如何使用Lucene3.0来创建索引,并通过一个具体的例子来演示整个过程。 #### 一、...

    lucene索引查看程序及代码

    《深入理解Lucene索引查看程序与代码》 在信息技术领域,搜索引擎的高效运作离不开底层索引技术的支持,而Lucene作为Apache软件基金会的一个开放源代码项目,正是一个强大的全文检索库,它提供了高效的文本搜索功能...

    Lucene索引器实例

    **Lucene索引器实例详解** Lucene是一个高性能、全文本搜索库,由Apache软件基金会开发,被广泛应用于各种搜索引擎的构建。它提供了一个高级的、灵活的、可扩展的接口,使得开发者能够轻松地在应用程序中实现全文...

    深入 Lucene 索引机制

    《深入 Lucene 索引机制》这篇博文主要探讨了Lucene这个全文搜索引擎的核心索引原理,它在信息检索领域有着广泛的应用。Lucene是一个开源的Java库,它提供了高效、可扩展的文本搜索功能。以下是对Lucene索引机制的...

    lucene查看索引结构

    lucene查看索引结构,简易工具,3.0版本

    lucene索引查看工具及源码

    在使用 Lucene 进行信息检索时,有时我们需要对建立的索引进行查看、调试或分析,这时就需要借助 Lucene 的索引查看工具。 Luke 是一个非常实用的 Lucene 索引浏览器,全称为 Lucidworks Luke。它允许用户以图形化...

Global site tag (gtag.js) - Google Analytics