0 0

luncene查询的时候内存溢出10

使用lucene创建了将近22G的索引,查询的时候经常内存溢出,由于调用的是别人的接口(自己对lucene不熟悉),有没有什么优化的方法避免内存溢出,类似数据库后台分页这种方法呢?

问题补充:
fjg0427 写道
索引并不算大,我们现在的索引上百G.具体是什么溢出,没有log不好判断.建议把log帖出来.可以先调整一下内存参数试一下.


每次读取索引的时候,基本上websphere就宕机了,设置websphere的内存为4g,日志没有明显的消息,就是out of memory,不知道是哪里出了问题,您上百G的索引是如何读取的呢?是不是有方法读取一小段一小段索引?
2012年1月07日 17:33

3个答案 按时间排序 按投票排序

0 0

你查询的时候是把所有的都取出来吗?可以分批查啊,设置一下start和row,一次全取出来,肯定是不行的.

2012年1月10日 09:20
0 0

索引并不算大,我们现在的索引上百G.具体是什么溢出,没有log不好判断.建议把log帖出来.可以先调整一下内存参数试一下.

2012年1月09日 16:12
0 0

这个索引太大了 是不是 要考虑优化索引。这个的采用一定的内存分页技术了。

2012年1月07日 20:00

相关推荐

    Luncene API

    Luncene的API,详细接受了Luncene的使用方法

    luncene in action中文版

    luncene in action中文版 doc格式

    全文搜索luncene.Net

    - 利用内存缓存提高检索速度。 - 对搜索结果进行缓存,减少数据库访问。 - 采用倒排索引、位图索引等优化技术。 总的来说,Lucene.Net是.NET开发全文搜索功能的强大工具,通过理解其核心概念和实践,开发者可以构建...

    Luncene2.0+Heritrix开发自己的搜索引擎01(源码)

    3. **查询解析**:Luncene 支持多种查询语法,如布尔查询、短语查询和近似查询,用户可以使用 QueryParser 类进行查询解析。 4. **搜索执行**:使用 Searcher 对象,可以执行查询并返回匹配的文档集。 5. **优化**:...

    luncene jar包Java专用

    标题中的“luncene jar包Java专用”指的是专门为Java环境设计的Lucene库,以.jar文件形式提供,便于开发者集成到他们的项目中。这个库包含了所有必要的类和方法,使得开发人员能够构建自己的搜索引擎应用,对文本...

    luncene api

    Lucene API(Application Programming Interface)是这个库的核心部分,允许程序员与Lucene进行交互,构建索引和执行查询。以下是对Lucene API及其关键特性的详细说明: 1. **索引过程**: - **Document对象**:在...

    ASP.NET with Luncene.net

    为了优化性能,通常会将索引存储在硬盘上,并在应用启动时加载到内存中。 为了实现这一整合,你需要熟悉ASP.NET的控制器和视图概念,理解如何处理HTTP请求和响应,同时还需要掌握Lucene.NET的基本操作,如创建...

    luncene 4.6 自定义查询评分规则

    在本篇文章中,我们将深入探讨如何在Lucene 4.6中实现自定义查询评分规则。此技术允许用户根据特定需求调整文档的相关性评分,从而更精确地满足搜索需求。 ### Lucene 4.6 自定义查询评分规则 #### 一、背景与概述...

    Luncene3.0从入门到精通

    - **查询执行**:当用户提交查询请求时,Lucene 会根据索引库中的信息快速定位到相关的文档,并返回给用户。 #### 五、Lucene 的应用场景 - **站内搜索**:适用于论坛、博客等网站的内部搜索功能。 - **商品搜索**...

    luncene

    luncene 简单的开原项目

    luncene索引PDF、Html、word.txt

    #### 概述 Lucene是一款高性能、全功能的文本搜索引擎库,被广泛应用于多种场景下的全文检索应用开发中。... #### Lucene基础概念 在深入了解如何处理特定类型的文档之前,我们需要先了解几个基本概念: ...

    luncene in action 003

    标题与描述均为“luncene in action 003”,但是需要注意的是正确的拼写应为“Lucene in Action”,这是一本介绍Apache Lucene的书籍。由于提供的部分内容仅包含了一些重复的试读版本声明及网址,并未提供具体的章节...

    Luncene2.0+Heritrix开发自己的搜索引擎

    5. **搜索API**:提供了丰富的搜索接口,支持布尔查询、短语查询、模糊查询等多种高级搜索操作。 **Heritrix** Heritrix 是互联网档案馆开发的一款可配置、可扩展的网络爬虫。它用于抓取网页数据,为搜索引擎提供...

    luncene.jar

    在给定的压缩包文件“luncene.jar”中,包含了三个重要的Lucene组件:lucene-core-3.0.3.jar、lucene-highlighter-3.0.1.jar和lucene-memory-3.0.1.jar,这些组件是构建高效搜索引擎的基础。 首先,我们来看一下`...

    luncene in action002

    2. **灵活的查询语言**:支持多种查询类型,包括布尔查询、短语查询、范围查询等。 3. **分布式和集群支持**:虽然Lucene本身不直接支持分布式部署,但可以与其他框架如Solr或Elasticsearch结合使用,实现分布式搜索...

    luncene案例源码

    总的来说,这个“luncene案例源码”为我们提供了一个实战平台,让我们能够亲手实现一个小型的搜索引擎,理解Lucene在实际项目中的运用。通过研究和分析源码,不仅可以掌握Lucene的基本操作,还能进一步提升在信息...

    Mysoo站内搜索结合luncene

    5. **查询处理**:当用户输入搜索查询时,Lucene的QueryParser将用户的输入转换为Query对象。这个Query对象表示了用户想要搜索的条件,然后在索引上执行搜索。 6. **搜索结果排名**:Lucene使用评分机制(TF-IDF)...

    luncene.rar

    网上MMAnalyzer资源太少了,大多数初学者都会少导入JAR包,并且网上只有 je-analysis-MMAnalyzer的例子,而没有依赖包lucene-core-2.4.1.jar je-analysis-1.5.3.jar以及 luncene-heghlighter-2.4.1.jar

    luncene.net 完整实例

    2. **构造查询(Query)**:使用 QueryParser 或直接构建 Query 对象(如 TermQuery、PhraseQuery 等)来表示用户的搜索请求。 3. **执行搜索**:将 Query 传递给 Searcher 的 Search 方法,返回匹配的 ScoreDoc ...

    luncene入门例子

    Lucene的查询解析器将用户的输入转化为复杂的查询表达式,然后与索引进行匹配,返回最相关的结果。 在这个"lucene第一天"的入门实例中,你可能会学到如何创建和管理Lucene的索引,包括: - **创建索引**:这通常...

Global site tag (gtag.js) - Google Analytics