`
kernaling.wong
  • 浏览: 78992 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

把linux的corn应用于Lucene的索引方式

阅读更多
cron 的用处我就不多说了,最近,在做这样的一个事情,索引进行中,要间隔20分钟就会把索引更新一次,即,索引程序会 sleep 20分钟,但要知道 lucene 的 IndexReader 把硬盘的索引缓存到内存,说明了,就算 sleep 过程中什么也没有做,此索引程序还是占用了系统的内存了。而事实上,我们却希望在休眠期间释放其索引占用的内存。当然我们先要分析一下利弊。

利:
1。 索引程序退出了,即调用了System.exit(0);方法,表示整一个程序退出,那当然是其使用的内存全部释放掉。
2。 在现在约200W的数据量来说,虽然不说得上很大,但其也占用了近1G的内存,至少,释放掉这些内存,使linux系统不再管理更多的内存,搜索程序的反应速度也会相应提高。

弊:
1。 索引程序退出了,的确是把内存释放掉,但,索引程序启动时却要把索引重新读入内存,这样在索引程序启动的时候,会消耗提更多的CPU与IO读写等操作。

但,综合来说,还是选用这个方法,利大于弊。

首先,当然是修改索引程序,其实只是把 Thread.sleep改为 System.exit(0);
然后,就是编写一个脚本实时启动它了。

需求:
索引程序每2小时启动一次。就这样写本来应该很容易吧。下图:


但事实上,却事与愿违,这样的脚本反而是每两小时,然后这一个小时的每一个分钟都在执行这一个脚本。同时也可以看到,执行的规律非常明显,每两小时,然后就是再每一分钟都执行一次,执行完一小时后,再停两小时,这样循环下去。。。
知道了问题,就改一下就行了。下图:
表示两小时后的那一个小时的第1秒执行一次这样的脚本就可以了。而不是*号。。。


这样就实现了每两小时执行一次了。
由于本人水平有限,难免有错误,同时欢迎转载,请注明出处:http://kernaling-wong.iteye.com/blog/750256 或联系 kernaling.wong@gmail.com
  • 大小: 14.7 KB
  • 大小: 14.4 KB
分享到:
评论

相关推荐

    Lucene索引器实例

    Lucene是一个高性能、全文本搜索库,由Apache软件基金会开发,被广泛应用于各种搜索引擎的构建。它提供了一个高级的、灵活的、可扩展的接口,使得开发者能够轻松地在应用程序中实现全文检索功能。在深入理解Lucene...

    lucene索引查看工具及源码

    它提供了高级的文本分析和检索功能,广泛应用于各种搜索引擎和信息检索系统。在使用 Lucene 进行信息检索时,有时我们需要对建立的索引进行查看、调试或分析,这时就需要借助 Lucene 的索引查看工具。 Luke 是一个...

    lucene索引查看程序及代码

    《深入理解Lucene索引查看程序与代码》 在信息技术领域,搜索引擎的高效运作离不开底层索引技术的支持,而Lucene作为...通过深入学习和使用luke,我们可以更好地掌握Lucene的索引机制,进而优化我们的全文检索应用。

    lucene 索引 查看 工具

    通过 Luke,开发者可以更好地理解 Lucene 索引的工作方式,进行索引优化,例如调整分析器设置以改进分词效果,或查看是否存在重复或无效的索引项。这对于调试搜索问题、提升搜索效率和整体应用性能至关重要。

    深入 Lucene 索引机制

    《深入 Lucene 索引机制》这篇博文主要探讨了Lucene这个全文搜索引擎的核心索引原理,它在信息检索领域有着广泛的应用。Lucene是一个开源的Java库,它提供了高效、可扩展的文本搜索功能。以下是对Lucene索引机制的...

    Lucene索引和查询

    - 多线程支持:在大型应用中,可能需要并发创建和查询索引,Lucene支持多线程操作。 - 性能优化:如使用内存映射文件(MMapDirectory)、优化写入策略等。 - 分布式搜索:通过Solr或Elasticsearch,可以实现分布式...

    lucene索引查看工具luck7.4.0

    在Lucene中,索引是其核心概念,是存储和检索文档的主要方式。`Luck`,全称`Luke`,是一款强大的Lucene索引浏览器和分析器工具,可以帮助开发者、数据分析师以及对Lucene感兴趣的人员查看、理解和调试Lucene索引。 ...

    Lucene 索引的简单使用

    - **索引(Index)**:索引是Lucene处理数据的核心,它将文本数据转换为可供快速搜索的结构。 - **分词器(Tokenizer)**:分词器将输入的文本分解为一系列的词语,这是建立索引的第一步。 - **分析器(Analyzer)...

    Lucene索引查看工具

    lukeall-0.9.jar为Lucene索引查看工具,方便大家查看索引

    Lucene索引文件查看工具lukeall4.7.1

    在信息检索领域,Lucene作为一款强大的全文搜索引擎库,被广泛应用在各种数据检索系统中。然而,对于开发者来说,理解并调试Lucene创建的索引文件并非易事。此时,一个高效的索引查看工具显得尤为重要,这就是我们要...

    lucene索引结构原理

    Lucene支持多种查询类型,如term查询、短语查询、范围查询等,它们的执行速度都依赖于倒排索引。 通过以上这些组件和机制,Lucene能够提供高效、可扩展的全文搜索能力。开发者可以通过自定义Analyzer、调整段合并...

    很好的lucene索引查看工具,欢迎各位lucene研究者前来下载

    《深入理解Lucene:探索索引查看工具》 在信息技术领域,搜索引擎的构建与优化是一项至关重要的任务。其中,Apache Lucene作为一个开源的全文检索库,为开发者提供了强大的索引和搜索功能。对于那些深入研究Lucene...

    luke源码--查看lucene索引文件

    在这个过程中,Luke工具提供了一种直观的方式,让我们能够查看和分析Lucene创建的索引文件。本文将深入探讨Luke的源码,揭示其如何帮助我们理解并调试Lucene索引。 首先,Luke是一个桌面应用,主要设计用于查看和...

    lucene 索引小示例

    在Java编程环境中,Lucene被广泛应用于构建搜索功能,特别是对于大量文本数据的高效检索。本篇文章将通过一个简单的小示例,深入探讨Lucene的核心概念和操作流程。 首先,我们需要理解Lucene的索引机制。索引是...

    Lucene读取索引文件

    Lucene,作为一款强大的全文搜索引擎库,被广泛应用于各类信息检索系统中。它的核心功能之一就是构建和读取索引文件,以高效地进行文本搜索。本文将深入探讨Lucene如何读取索引文件,帮助开发者更好地理解和利用这一...

    Lucene索引的基本操作

    **Lucene索引的基本操作** Lucene是一款由Apache软件基金会开发的全文检索库,它提供了高效、可扩展的全文检索功能。在Java开发环境中,Lucene是广泛使用的文本搜索工具,能够帮助开发者构建复杂的搜索引擎。本文将...

    lucene索引文件格式介绍

    Lucene 是一个流行的开源全文搜索引擎库,其核心功能之一就是构建高效的索引。索引文件格式是Lucene实现快速搜索的关键。以下是对Lucene索引文件格式的详细说明。 首先,我们要理解Lucene索引的基本结构。一个...

    linux 下配置和应用lucene

    "Linux 下配置和应用 Lucene" 在本文中,我们将详细介绍如何在 Red Hat Linux 9 下配置和应用 Lucene 2.9.1。这篇文章将对 Lucene 的安装、配置和应用进行详细的讲解,旨在为读者提供一个清晰、详细的指南。 环境...

    lucene索引查看工具

    这款已经老了,2.4以后的lucene索引用不了。我上传了最新版本的,有需要的话!请到http://download.csdn.net/source/1423241 下。一款可以查看Lucene分词后在索引的排名以及是否有无该词,很多时候用于查看有无需要...

    lucene索引结构原理.docx

    与传统的数据库不同,Lucene 更专注于文本的检索,而非存储和管理结构化数据。本文将深入探讨Lucene的核心概念、与其他系统的比较以及数据搜索的方法。 1. **Lucene 与数据库的比较** - **索引数据源**:在数据库...

Global site tag (gtag.js) - Google Analytics