你的索引文件30G!这可是个非常大的数目了。
1. 从schema入手:
1> 你的数据是都需要store的么, 比如一些字段只需要提供结果搜索而不作为结果返回, 那么需要将store设置为false从而减少数据量。
2> 你的所有字段都需要highlight么, 如果不需要highlight则可以将term vector关掉。
3> 确认你在schema没保存太多无用的信息(即不用来搜索也不用来返回)。
4> 你的分词算法是否合理, 如果你使用的是ngram的分词方法, 可以通过设置最大和最小分词长度来限制分词数据。
5> 你的业务上是否有明显的条目信息, 比如你索引的东西是一本书, 很多其他的信息在mysql或者其他地方有副本, 这样的话, 你大可以只store id信息, 其他字段都不store。
6> 你的业务能不能拆分, 比如之前书影音一起做搜索, 你可以考虑将他们分开。
2. 从segment角度
1> lucence使用segment来保存索引数据, 可以在Solr中通过mergeFactor来指定需要的临时文件数目, 如果mergeFactor过大, 则index的时间会缩短, 但磁盘占用和搜索时间会变的很长, 可以考虑适当调整mergeFactor, 或者在slave上做定期的optimize操作, optimize会将segment合并到一起, 当然, 这个过程比较耗资源, 所以可以考虑optimize的时候指定要merge到的数据。
2> 同样, 在master , slave环境中, 最好不要在master上做optimize, 因为在master上做optimize会导致slave每次复制整个index的数据, 这当然不是你想要的, 所以要采取措施不要让master和slave的配置一样, 这样很不划算。
3. 从shard上
更一般的情况是, 如果这些都不是你想要的, 可以考虑shard, Solr支持很灵活的Shard, 你可以在build index的时候给出规则让不同的数据发送到不同的服务器, 比如同过hash等。 这样你的大数据就可以分布在多个机器中, 提高处理速度, 当然, 如果你有性能较好的机器, 同样可以考虑在单一机器上做shard, 利用多核的处理性能。但是要谨慎Solr的一些特性在Shard环境中的支持情况。
4. JDK
1> JDK 的版本, 建议使用最新的版本, 但是7貌似有bug, 看有没有7.1, 32 vs 64 对java没影响, 都是byte code ,不区分。
2> 可以通过制定Xmx Xms 参数调整heap 的大小, 如果你经常出现heap over flow的话。
3> 启用多线程gc, 这是你在处理大数据时避免溢出的好方法, 一般一个core一个gc线程。
5. 设置适当的cache, 根据cache命中率的不同来选择fastlru or lru。
这里网上有个叫做chenlb的人以前在1.4中做了一个patch, 可以使用memcache做solr的cache, 不过现在的3.5版本不兼容, 作者也没有对其更新, 如果你在分布式环境下, 可以考虑自己做一下这个, 弄好了可以分享给笔者。
6. 根据使用的不同, 优化方式也非常的多, 不再赘述。
- 浏览: 948301 次
- 性别:
- 来自: 北京
最新评论
-
天使建站:
jquery获取网页里多选框checkbox选中项的值的方法及 ...
JS jQuery分别获取选中的复选框值 -
abao1:
发现一个小问题 sortAndSave方法中的for循环 第二 ...
完整java实现外部排序 -
西巴拉古呀那:
Kafka分布式消息系统实战(与JavaScalaHadoop ...
消息系统kafka介绍 -
kafodaote:
Kafka分布式消息系统实战(与JavaScalaHadoop ...
消息系统kafka介绍 -
成大大的:
Kafka分布式消息系统实 ...
消息系统kafka介绍
相关推荐
### Lucene与Solr的使用详解 #### 一、Lucene概述 Lucene是一款高性能、全功能的文本搜索引擎库,由Java语言编写而成。它能够为应用系统提供强大的全文检索能力,是当前最为流行的开源搜索库之一。由于其高度可...
Apache Solr 和 Lucene 是两个在全文搜索领域广泛使用的开源框架。它们的组合为构建高效、可扩展的搜索引擎提供了强大的工具。以下是对这两个组件及其在搜索模块设计实现中的关键知识点的详细说明: 1. **Apache ...
全文搜索是Solr的主要应用场景,通过索引文档内容,用户可以输入任意关键词进行搜索,Solr会返回最相关的文档。Solr支持多种查询类型,包括标准查询、范围查询、多字段查询等,同时还可以实现高亮显示搜索结果中的...
搜索引擎是一种能够为用户提供信息检索服务的系统,它通过特定的算法对海量信息资源进行采集、处理、存储,并在用户查询请求下高效准确地检索出相关信息。搜索引擎的核心技术可以分为网络爬虫、全文索引结构、搜索...
在"paoding-webx3-solr-lucene"中,Paoding扮演着将用户输入的中文查询字符串拆分成有意义的词汇的角色,这些词汇随后会被用于在索引中进行匹配。 最后,Solr是Apache Lucene的一个分支,是一个高度可定制的、高...
Solr是一个高性能,采用Java开发,基于Lucene的全文搜索服务器。同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一...
标题中的"solr_lucene3.5_lukeall-3.5.0.jar.zip" 提供了关于这个压缩包的基本信息。它包含了Solr和Lucene的特定版本——3.5.0,以及一个名为"lukeall"的工具。"Luke"在Lucene和Solr的上下文中是一个非常有用的工具...
Lucene是一套用于全文检索和搜寻的开源程式库,由Apache...提供了比Lucene更为丰富的查询语言, 同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面, 是一款非常优秀的全文搜索引擎。
1. 安装和配置:下载并安装Lucene或Solr,配置相关参数。 2. 文档模型定义:定义文档的字段及其类型,准备用于索引的数据。 3. 创建索引:使用Lucene API或Solr的索引API,将数据转化为索引结构。 4. 查询:通过Solr...
然而,由于无法直接查看该文件的具体内容,我们只能推测它与Solr的Schema管理有关,涉及到了文本分析的设置。 总的来说,Solr的`manageschema`配置文件是理解和优化搜索行为的关键,它定义了数据的结构和处理方式,...
"Lucene-Solr开发经验.mht"文件可能分享了一些开发者的实战经验,这对于遇到问题时寻找解决方案或者避免常见错误非常有帮助。 "Solr and Jboss.mht"讨论了Solr与JBoss应用服务器的集成,对于在企业环境中部署Solr的...
3. **配置Lucene或Solr**:将生成的jar包添加到Lucene或Solr的lib目录下,然后在相应配置文件中指定IKAnalyzer为Analyzer。 4. **测试与应用**:编写测试代码验证IKAnalyzer的分词效果,确认无误后即可在实际项目中...
- **缓存机制**:Solr有多种缓存,如查询结果缓存、文档值缓存等,可以显著提高性能。 - **分布式搜索**:通过ShardRequest和ShardResponse处理跨节点通信,优化大规模数据的搜索效率。 通过深入研究`solr-9.0.0-...
总结来说,停词表在Solr、Elasticsearch和Lucene等全文搜索引擎中起着至关重要的作用,它有助于提高搜索效率,减少索引大小,并提升搜索结果的相关性。通过对停词的精确控制,我们可以定制化搜索引擎,以满足特定的...
1. **bin** 文件夹:这个目录下有启动和管理Solr服务器的各种脚本,如`solr`命令行工具,可以用于启动、停止和管理Solr实例。 2. **server** 文件夹:这是Solr的核心所在,包括了Jetty服务器(默认的嵌入式HTTP...
5. **Lucene-Solr Grandparent**: `lucene-solr-grandparent.jar` 可能与Solr有关,Solr是基于Lucene的全文搜索引擎服务器,提供了更高级的功能,如集群、分布式搜索、近实时搜索等。这个jar可能包含了与Solr集成的...
通过上述内容,我们不仅了解了 Solr 的基本概念、Solr 与 Lucene 的区别,还学习了如何安装和配置 Solr,以及如何使用 Solr 进行索引的创建和搜索。Solr 作为一款企业级的搜索引擎,凭借其强大的功能和灵活性,在...
4. **搜索引擎优化**:对于大型网站,Solr可以帮助构建站内搜索引擎,优化用户体验。 总的来说,Lucene作为基础的全文检索库,提供了强大的文本处理和索引能力;而Solr则在此基础上,提供了更完善的搜索服务和企业...
在构建高效的全文搜索引擎时,Apache Lucene 和 Solr 是两个非常重要的开源库。它们提供了强大的信息检索和文本分析功能,但Lucene默认的分词器并不适用于中文处理。因此,对于中文索引和搜索,我们需要引入专门针对...