`
longgangbai
  • 浏览: 7340155 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

lucene的性能数据_并发

阅读更多

1, 环境:windows 2003 + tomcat6.0.14 + lucene 2.2.0
配置: Intel Pentium D CPU 3.00GHz,3.00GHz,992MB内存

索引数据量:200万
loadrunner 200并发测试,每秒钟请求一次.
平均hit/sec = 187.54
平均响应时间小于0.5秒

cpu 100%,内存:830MB

IndexReader还没有采用单例模式时,只能并发20,改成单例模式后就可以并发200左右了.
LUCENE还是比较强的.

并行索引.多目录

1、多字段搜索就是同时要一个以上的字段中的内容进行比较搜索,类似概念在SQL中就是select * from Table where a like '%query%' or b like '%query%'。

Lucene.net中的单个字段查询大家都比较熟悉,这里对字段content进行搜索
Query query = QueryParser.Parse(querystr,"content",new ChineseAnalyzer());
Hits hits = searcher.Search(query);

对多个字段查询用到一个MultiFieldQueryParser对象,该对象继承自Query,我们要对字段title,content进行搜索。
string[] fields = {"content","title"};
Query multiquery = MultiFieldQueryParser.Parse(querystr,fields,new ChineseAnalyzer());
Hits hits = searcher.Search(multiquery);

2、多索引目录就是要在多个索引目录的中进行比较搜索,类似概念在SQL中就是select * from TableA union select * from TableB。
IndexSearcher[] searchers = new IndexSearcher[2];
searchers[0] = new IndexSearcher(IndexPath0);
searchers[1] = new IndexSearcher(IndexPath1);

MultiSearcher multisearcher = new MultiSearcher(searchers);
TopDocs multitopdocs = multisearcher.Search(query, null, 1000);
这个搜索的结果可能有相同的信息,比如你有一条相同的信息在多个目录中索引,搜索的结果就会出现多次相同的信息。

还有一种搜索方式是用到ParallelMultiSearcher这个对象,它是从MulitSearcher继承而来。
ParallelMultiSearcher parallelmultisearcher = new ParallelMultiSearcher(searchers);
TopDocs paralleltopdocs = parallelmultisearcher.Search(query, null, 1000);
这个搜索是对搜索后的结果进行合并,剔除重复的信息。

分享到:
评论

相关推荐

    lucene_in_action中文版

    这些特性使得Lucene能够在大型、高并发的环境中稳定运行,满足企业的实际需求。 为了帮助读者更好地将Lucene集成到实际项目中,书中还提供了关于整合Spring、Hibernate等流行框架的指导。此外,针对性能优化,书中...

    @#Lucene_In_Action中文#@

    在处理多线程和多进程访问时,Lucene需要考虑并发控制,以防止索引的冲突和数据不一致。它采用了锁机制来管理并发索引修改,确保数据的一致性和完整性。 通过深入理解这些概念,读者将能更好地掌握如何使用Lucene...

    Lucene.Net_1_9_RC1_final

    开发者需要将文档数据转换为Lucene可理解的字段(Field),每个字段有文本内容和存储/索引属性。 2. 分析器(Analyzer):分析器负责对输入的文本进行预处理,如分词、去除停用词、词形还原等。Lucene.Net提供了...

    Lucene.Net_2_1_0.rar

    7. **内存管理与性能优化**:Lucene.Net 2.1.0在内存管理和性能方面做了大量工作,比如使用了更节省内存的数据结构,减少了磁盘I/O,使得系统在处理大规模数据时仍然能保持良好的响应速度。 通过学习和掌握这些核心...

    Lucene.Net_2_9_1.rar

    1. **索引创建**:首先,需要对要搜索的数据进行预处理,包括分词、去除停用词等,然后将处理后的数据构建为Lucene.Net的索引。 2. **索引存储**:索引会被持久化存储,以便后续查询使用。可以选择内存、硬盘或者...

    Lucene.Net_2_4_0.rar

    2. **倒排索引**:Lucene.Net 使用倒排索引技术,使得查询速度极快,能够在海量数据中迅速找到匹配的文档。 3. **分词与分析**:内置多种语言的分词器,如英文的 StandardAnalyzer 和中文的 IKAnalyzer,可以对文本...

    lucene的封装和性能优化

    Lucene性能优化 #### 3.1 分片与分布式 在大数据量场景下,可以采用分片策略,将索引分散到多个节点上,利用Lucene的分布式搜索能力,提高查询效率。 #### 3.2 延迟索引更新 为了减少实时索引更新对系统性能的...

    Lucene3.0_pdf

    - **段(Segment)**:是Lucene存储数据的基本单位,是不可变的,有助于提高并发性能和资源利用率。 2. **主要功能** - **索引构建**:将原始文本数据转换为倒排索引,支持快速的全文搜索。 - **查询解析**:将...

    lucene实战源码.rar

    8. **实时搜索**:Lucene提供了实时索引能力,即一边接收新数据,一边更新索引并提供搜索服务。这部分源码会解释如何实现这种特性。 9. **内存与磁盘管理**:学习如何平衡内存使用和磁盘空间,以优化Lucene的性能和...

    lucene_7_4_0

    Lucene 7.4.0在性能方面进行了优化,包括更快的索引和搜索速度,更高效的内存使用,以及更好的并发处理能力。 2.3 查询增强 7.4.0版本对查询语法进行了增强,支持更复杂的查询表达式,并且对查询性能进行了优化。 ...

    Lucene索引数据分析器

    **Lucene索引数据分析器** Lucene是一款强大的开源全文搜索引擎库,由Apache软件基金会开发,广泛应用于各种数据检索系统。它的核心功能在于高效地构建、管理和搜索文本索引,为开发者提供快速的数据查询能力。本篇...

    Lucene3.3_API文档

    - **段(Segment)**: Lucene将索引分割为多个独立的、可读写的段,以提高并发性能和减少磁盘I/O。 - **过滤器(Filter)**: 可以在查询过程中进一步限制结果集,如TermFilter用于只返回包含特定词项的文档。 - **...

    Lucene in Action 2nd_Edition.doc

    - **高性能优化**:讲解了如何对搜索系统进行优化以支持高并发访问和大数据量的场景。 #### 七、扩展搜索功能 - **自定义分析器**:介绍了如何为Lucene添加自定义分析器,以便更好地适应特定的语言和文本结构。 - ...

    lucene高级搜索进阶项目_04

    Apache Solr和Elasticsearch提供了分布式搜索解决方案,它们基于Lucene,能处理大规模的数据和高并发请求。 8. **实时索引**:在动态更新内容的场景下,我们需要实时或准实时地更新索引。Lucene支持添加、删除和...

    lucene-core-3.0.0.rar_lucene_lucene-core3

    1. **性能优化**:这一版本的Lucene对内存使用和搜索速度进行了优化,提升了整体性能。 2. **新API**:引入了一些新的API,如N-gram查询、地理位置搜索支持等,增强了Lucene的功能。 3. **多线程支持**: Lucene ...

    基于lucene技术的增量索引

    本文将深入探讨如何利用Lucene实现增量索引,这是一种在数据库或文件系统更新时仅对新数据或变化数据进行索引的技术,以降低资源消耗并保持搜索性能。 **1. Lucene基础知识** Lucene首先需要理解的是它的核心概念,...

    Lucene与关系型数据库对比

    Lucene的优势在于其快速的索引速度、稳定的性能以及简便的使用方法,加之其开源免费的特性,近年来在众多领域得到了广泛应用。 Lucene的设计核心是索引机制,它将信息存储为一系列索引文件,这些文件的结构设计得...

    lucene索引结构原理.docx

    - **并发访问**:Lucene支持多用户并发访问,确保了在高并发环境下的稳定性和性能。 3. **数据格式:结构化与非结构化数据** - **结构化数据**:如数据库中的记录,具有预定义的格式和有限长度,如元数据。 - **...

    lucene-core-2.9.4,lucene-core-3.0.2,lucene-core-3.0.3,lucene-core-3.4.0

    - **多线程支持**:在3.0系列中,Lucene增强了对多线程环境的支持,允许并发索引和检索操作,提升性能。 3. **Lucene 3.4.0** - **查询执行优化**:3.4.0版本对查询执行引擎进行了重大优化,包括更快的评分计算和...

Global site tag (gtag.js) - Google Analytics