-
Solr 大量数据时FieldCache溢出10
最近Solr索引变大后，主要是取消了每次dataimport的optimize之后，dataimport速度快了很多，但就频繁溢出了，启动一次坚持不到24小时。
一般是在autoWarm环节溢出的。
配置：
Windows Server2008 64位，内存16G,分配给Tomcat -xms=2500m -xmx4500m ,tomcat下只有Solr一个应用。
索引内核: 一个，optimize后有7.6G，未optimize前有15G
dataimport 情况：每十分钟启动一次dataimport，每次平均800条。1500字x2字节=3000字节每条。optimize=true时，平均要25分钟才完成，取消optimize后平均3分钟完成。
索引配置：
id, slong, sort,indexed,stored,
type,text(10) indexed,
title,text(50)indexed,
abstract,text(1000)indexed
time,datetime,indexed
取消了所有term相关属性和omitNorms=true
searcher的autoWarmCount设为1,所有cache也设到50以内。
查询只用了id排序。
目前还是这个FieldCache溢出，见图片附件。
大意是说FieldCache占了大量空间溢出了。
Google上说可能是因为Sort排序集太大所致。
除了加内存有什么好办法？
求众位天神施救
2011年12月23日 10:56
1条评论
关注(0)
目前还没有答案
相关推荐
solr测试数据，数据文件
使用多线程方式 通过solrj 接口向solr新增索引信息
Solr，全称为Apache Solr，是一款开源的企业级搜索引擎，被广泛用于大数据处理中的全文检索、数据分析和实时搜索。在日常运维中，我们有时需要进行Solr的数据迁移，以适应系统扩展、升级或备份恢复的需求。本文将...
安装配置solr步骤，包含oracle数据源导入数据配置，以及一些可能遇到的坑
它在处理大量数据和提供高效搜索性能方面表现出色。而定时更新功能是Solr的一个重要特性，它允许用户定期地、自动地从数据源导入新数据或者更新已有数据，以保持索引与实际数据的一致性。 在Solr中，定时更新主要...
在处理中文数据时，由于中文的复杂性，需要特别配置中文解析器以正确地分词和理解文本内容。本篇文章将深入探讨如何在Solr中配置中文解析器以及在导入数据到Solr索引库时所需关注的jar包。 首先，让我们来了解Solr...
Solr 5.3.1 是 Apache Solr 的一个版本，它是一个开源的搜索平台，广泛用于企业级的全文检索、数据分析和分布式搜索。Solr 基于 Lucene 库，提供了高度可配置和可扩展的搜索服务。在本案例中，我们将探讨如何将 ...
HBase 和 Solr 都是大数据处理中的关键组件。HBase 是一个分布式的、面向列的NoSQL数据库，适合存储大规模结构化数据。而Solr 是一个流行的全文搜索引擎，提供高效的全文检索、命中高亮、拼写检查等特性。将HBase的...
6. **分布式搜索**：Solr支持分布式搜索，这意味着可以在多台服务器上部署Solr，并将索引分布在这些服务器上，以处理大量数据和高并发请求。SolrCloud是Solr的分布式实现，它利用ZooKeeper进行集群协调和配置管理。 ...
Solr 是一个基于 Lucene 的搜索引擎，可以快速高效地对大量数据进行索引和查询。在实际应用中，我们需要将数据插入 Solr 索引库中，以便实现高效的搜索功能。本文将详细介绍 Solr 数据库插入全量和增量索引的方法和...
总的来说，Solr-9.0.0是一个强大且灵活的搜索平台，适用于需要大量数据搜索和分析的场景，如电商网站的商品搜索、新闻网站的内容检索、企业内部的文档搜索等。通过深入理解和熟练使用Solr，你可以为你的应用程序提供...
Solr能够对大量数据进行快速的全文检索，同时支持多字段排序、分面搜索和自定义评分策略。为了保持索引与源数据的一致性，Solr引入了DIH，这是一个内建的机制，用于从关系数据库、XML文件等外部数据源导入数据，并将...
全量导入会将整个数据源的数据导入到Solr索引中，而增量导入则仅导入自上次导入以来发生变更的数据，这在处理大量数据时尤其有用，因为它减少了不必要的资源消耗。 在这个特定的jar包——"solr-dataimportscheduler...
这通常在系统初始化或者数据大幅度变动时进行。 2. **增量导入**：增量导入只导入自上次导入以来发生变化的数据。Solr通过跟踪数据源中的“lastModified”或者其他时间戳字段来识别新数据或已修改的数据。这样可以...
它支持多种数据源，可以处理大量结构化和非结构化数据，提供快速的全文搜索、近实时搜索、富文本处理、地理位置搜索等功能。 2. **Spring Data Solr**：Spring Data Solr是Spring框架的一个模块，它简化了与Solr...
它能够高效、快速地处理大量文本数据，并提供全文检索、 faceted search（分面搜索）、hit highlighting（高亮显示搜索结果）等多种功能。在企业级应用中，Solr通常用于构建强大的搜索解决方案。 本压缩包“solr-...
在本项目中，Solr作为数据的存储和检索平台，用于快速查询大量数据。 1. **索引构建**：Solr允许开发者定义自己的索引模型，支持多种类型的字段，如文本、数字、日期等，并能对字段进行分词、分析。 2. **分布式...
Apache Solr是一款强大的开源搜索引擎，它能够高效地处理和索引大量数据，提供快速的全文检索、 faceting、高亮显示等高级功能。在实际应用中，为了保持搜索结果的实时性，我们往往需要将数据库中的数据实时或定时...
在Solr4.9中，DIH可以帮助开发者轻松地将大量数据导入到Solr中进行搜索，这对于需要实时或定期更新索引的应用来说尤其重要。 在开发Solr4.9时，开发者需要了解以下关键知识点： 1. **Solr核心概念**：如集合...