`
deepfuture
  • 浏览: 4400204 次
  • 性别: Icon_minigender_1
  • 来自: 湛江
博客专栏
073ec2a9-85b7-3ebf-a3bb-c6361e6c6f64
SQLite源码剖析
浏览量:80067
1591c4b8-62f1-3d3e-9551-25c77465da96
WIN32汇编语言学习应用...
浏览量:70036
F5390db6-59dd-338f-ba18-4e93943ff06a
神奇的perl
浏览量:103338
Dac44363-8a80-3836-99aa-f7b7780fa6e2
lucene等搜索引擎解析...
浏览量:285760
Ec49a563-4109-3c69-9c83-8f6d068ba113
深入lucene3.5源码...
浏览量:15005
9b99bfc2-19c2-3346-9100-7f8879c731ce
VB.NET并行与分布式编...
浏览量:67553
B1db2af3-06b3-35bb-ac08-59ff2d1324b4
silverlight 5...
浏览量:32135
4a56b548-ab3d-35af-a984-e0781d142c23
算法下午茶系列
浏览量:45981
社区版块
存档分类
最新评论

lucene-调整索引性能

阅读更多

1、当新的Document对象增加到Lucene索引里时,它们最初将被缓存在内存中,而不是立刻写入磁盘中

2、IndexWriter提供了几个变量,用于调节缓存的大小和磁盘写入的频率。

3、IndexWriter的mergeFactor参数:

1)在将Document对象写入磁盘之前,控制在内存中存储Document对象的数量以及合并多个索引段的频率。在将它们做为单个段写入磁盘之前,Lucene在内存中默认存储10个Document对象。

2)默认10意味着磁盘上的段数达到10的乘方时,Lucene会将这些段合并为一个段。如每当有10个Document对象增加到索引中时,Lucene会在磁盘上创建一个新的段,当增加第10个大小为10个文档对象的段时,所有的这10个段会合并为大小为100的一个段。

4、IndexWriter的maxMergeDocs参数:

1)限制每个段的文档数量

2)当合并多个段时,Lucene要确保各个段中所包含的Document对象的个数不超过maxMergerDocs的大小。

5、IndexWriter的minMergeDocs参数:

1) 在Document对象被合并为一段之前,minMergerDocs的值控制着缓存的Document对象个数。

2)默认为10

3)能用更多的内存空间换取更快的索引

6、

1)从以上运行情况可以看出,操作系统为运行JVM提供更多内存时,增大mergeFactor和minMergeDocs的值可以提高索引过程速度,使用一个较大的mergeFactor值将会影响搜索性能

2)给JVM提供一个较大的内存堆可提高索引性能。进行这个操作通过java解释器中的-Xms和-Xmx参数共同完成

3)确保HotSpot、JIT的JVM选项已经激活,这会对程序运行产生积极的影响

7、如果出现打开文件过多的异常,可使用IndexWriter类的optimize()方法来对这个索引进行优化,如果仍然不能解决,则尝试通过增加机器所允许打开文件最大数,如果仍然不行,则把原来的索引转换成复合结构的索引

分享到:
评论

相关推荐

    lucene-core-2.3.0 lucene-core2.4.0以及极易分词器 jar包

    在实际应用中,还需要考虑如何优化索引性能,例如通过设置不同的分析器来适应不同的文本类型,或者使用缓存来提高查询速度。 此外,由于这两个Lucene版本相对较旧,开发新项目时通常会推荐使用更现代的版本,以获得...

    lucene-5.5.3.zip

    - **索引**:Lucene的核心是建立倒排索引,它将文本内容转换成可快速查询的数据结构。索引过程包括分析、词项化、文档ID分配等步骤。 - **分词器(Tokenizer)**:负责将输入的文本分割成一个个有意义的词元...

    java全文搜索lucene-3.0.0-src+lib.zip

    Java全文搜索引擎Lucene是一款开源的、高性能的文本分析和检索库,它为开发者提供了在Java应用程序中实现全文搜索功能的能力。本篇将深入探讨Lucene 3.0.0版本的核心特性、设计理念以及使用方法。 一、Lucene概述 ...

    最新版 lucene-9.3.0.tgz

    7. **内存管理**:为了提高性能,Lucene会缓存部分索引数据。9.3.0可能包含改进的内存管理策略,以减少内存占用并防止因内存压力导致的性能下降。 8. **分布式搜索**:随着Solr(基于Lucene的搜索服务器)的发展,...

    Laravel开发-laravel-lucene-search

    `laravel-lucene-search`是针对Laravel 4.2版本设计的一个软件包,它将Apache Lucene(一个高性能、全功能的文本搜索引擎库)与Laravel的Eloquent ORM(对象关系映射)相结合,使得在Laravel应用中实现全文搜索变得...

    lucene-4.7.0官方文档

    通过深入学习这份官方文档,开发者不仅能掌握Lucene的基本用法,还能了解到如何根据具体需求调整和扩展其功能,从而在实际项目中发挥出Lucene的强大潜力。无论是初学者还是经验丰富的开发者,这份文档都是不可或缺的...

    lucene-6.4.0.zip

    9. 性能监控和调优:为了更好地管理和优化系统,6.4.0版本可能提供了更多的性能监控指标和工具,帮助开发者了解系统运行状态并进行调整。 总之,Lucene 6.4.0作为一个全文检索开发工具,不仅提供了强大的搜索功能,...

    Lucene-2.0学习文档

    通过不断优化和扩展,开发者可以充分利用Lucene的强大功能,提升产品的用户体验和性能。 总之,学习Lucene-2.0涉及到对索引构建、搜索算法、排序机制的理解以及源码的阅读和分析。这不仅可以帮助开发者构建自己的...

    最新版windows lucene-8.8.2.zip

    1. **性能优化**:Lucene经常进行内部结构和算法的调整,以减少索引时间和查询时间,提高系统资源的利用效率。 2. **错误修复**:修复了之前版本中发现的任何bug,确保稳定性和可靠性。 3. **新特性**:可能引入了...

    Lucene-in-Action-2nd-Edition---Manning

    - **性能调优**:通过调整索引设置、缓存策略等提高搜索速度和响应时间。 **2. 实战案例** - **电子商务网站**:实现产品搜索功能,支持按类别、价格区间等筛选。 - **文档管理系统**:提供快速查找文档的能力,...

    自己整理的 最新的 lucene-3.0.1_api

    2. **合并策略**:调整IndexWriter的mergeFactor,平衡索引大小和搜索速度。 3. **分片和复制**:在分布式环境中,使用Shard和Replica策略,确保高可用性和容错性。 总结,Lucene-3.0.1 API为开发者提供了丰富的...

    整合资源jsmartco_zh_CN+je-analysis-1.4.0+lucene-core-2.0.0+heritrix.14.4.

    lucene-core-2.0.0**: Lucene是一个高性能、全文本搜索库,它是Apache软件基金会的一个项目。2.0.0版本可能相对较旧,但仍然包含基本的索引和搜索功能。Lucene提供了倒排索引、查询解析、评分、排序等功能,是构建...

    最新版windows lucene-8.5.1.zip

    对于这些问题,可以通过调整用户权限、合理设置文件锁策略或采用异步索引等方法来解决。此外,确保Java环境的兼容性,避免与系统其他软件冲突,也是保证Lucene正常运行的关键。 总结,Apache Lucene 8.5.1在Windows...

    最新版linux lucene-9.0.0.tgz

    8. **内存和磁盘优化**:Lucene能够有效地管理内存,同时支持索引的磁盘持久化,确保搜索性能的同时降低资源消耗。 9. **多线程支持**:Lucene利用多线程提高搜索和索引的速度,尤其在服务器环境下,可以充分利用...

    基于lucene技术的增量索引

    - **性能调优**:根据实际情况调整Lucene的配置参数,如缓存大小、分词器设置等,以达到最佳性能。 通过上述步骤,我们可以构建一个基于Lucene的增量索引系统,高效地处理数据变化,同时保持搜索效率。在实际应用中...

    lucene-2.3.1.jar

    《Lucene 2.3.1.jar:洞察...开发者可以借助这个版本的Lucene,构建出功能强大、性能优异的搜索解决方案,满足各种业务需求。在未来,随着技术的不断演进,我们期待Lucene在搜索领域继续发挥重要作用,引领创新潮流。

    最新版windows lucene-8.11.0.zip

    - **性能调优**:根据实际应用场景调整Lucene配置,如缓存策略、内存分配等。 Windows Lucene 8.11.0的发布,意味着开发者有了一个更强大、更可靠的工具来实现高效、精准的全文搜索。无论是初学者还是经验丰富的...

    lucene-4.7.0.zip

    1. 性能优化:在4.7.0版本中,Lucene对索引构建和查询性能进行了深度优化,提高了检索速度,降低了内存消耗,使得大规模数据的搜索更加高效。 2. 新增功能:引入了新的分析器,如PerFieldAnalyzerWrapper,允许针对...

    最新版windows lucene-8.6.0.zip

    1. 性能提升:在8.6.0版本中,Lucene对内部数据结构进行了优化,使得索引和搜索速度更快。同时,对多线程支持进行了改进,提高了并发环境下的处理能力。 2. 新的分析器:为了更好地支持多语言搜索,此版本引入了新...

Global site tag (gtag.js) - Google Analytics