`
cfan_haifeng
  • 浏览: 122389 次
  • 性别: Icon_minigender_1
  • 来自: 郑州
社区版块
存档分类
最新评论

lucene-wiki翻译:如何提高索引速度-3

阅读更多

 


8.以同样的顺序在Document中添加fields

 

    原文 写道

Always add fields in the same order to your Document, when using stored fields or term vectors

Lucene's merging has an optimization whereby stored fields and term vectors can be bulk-byte-copied, but the optimization only applies if the field name -> number mapping is the same across segments. Future Lucene versions may attempt to assign the same mapping automatically (see LUCENE-1737), but until then the only way to get the same mapping is to always add the same fields in the same order to each document you index.

 

    以同样的顺序在Document中添加fields,大家平时就是这么做的。Lucene在合并索引的时候有一个优化功能,即可以根据field和term vectors实现批量字节拷贝,但该优化只有在 name->number映射在所有segments都相同的情况下方可实现。未来的lucene版本可能将会实现自动映射(参看),但目前为止,只有“以同样的顺序在Document中添加fields”这一种方式来获得一样的映射。

 

 

9.在分析器Analyzers 中复用(单例模式)Token 实例

 

 

原文 写道
Re-use a single Token instance in your analyzer Analyzers often create a new Token for each termin sequence that needs to be indexed from a Field. You can save substantial GC cost by re-using a single Token instance instead.

 

 

       在分析器Analyzers 中复用(单例模式)Token 实例。对于需要建立索引Field,分析器Analyzers会为其中的没个term创建一个Token 对象。你可以通过复用Token来降低垃圾回收的消耗。

 

     人家的翻译:

 

 

在你的分析器Analyzer中使用一个单一的Token实例 。在分析器中共享一个单一的token实例也将缓解GC的压力。

 

 

   悲哀啊,我到现在没用过token,啥情况???

 

 

10.用Tokenz中的char[] API代替String API来表示数据

 

     原文 写道

Use the char[] API in Token instead of the String API to represent token Text
As of Lucene 2.3, a Token can represent its text as a slice into a char array, which saves the GC cost of new'ing and then reclaiming(回收) String instances. By re-using a single Token instance and using the char[] API you can avoid new'ing any objects for each term. See Token for details.

    

   represent ...as :  把…描绘成 。晕,这都忘记了。


 

   人家的翻译

 

在Lucene 2.3中,Token可以使用char数组来表示他的数据。这样可以避免构建字符串以及GC回收字符串的消耗。通过配合使用单一Token实例和使用char[]接口你可以避免创建新的对象。更多细节参考:Token 

 

 




分享到:
评论

相关推荐

    lucene-search-开源

    3. **配置MediaWiki**:编辑MediaWiki的配置文件(LocalSettings.php),添加与Lucene相关的设置,如Lucene服务器地址、索引路径等。 4. **构建索引**:启动Lucene守护进程,对MediaWiki的页面内容进行索引。这可能...

    Lucene索引优化

    描述:在Lucene的wiki上,我们找到了一系列关于如何提升Lucene应用中索引速度的技巧与策略。这不仅涵盖了技术细节,还提供了实际操作建议,旨在帮助开发者针对特定场景优化其Lucene索引性能。 ### 知识点详细解析:...

    Wiki-Search-engine:维基搜索引擎

    9. **优化和性能**:包括索引构建的速度优化、查询响应时间的减少以及内存和磁盘空间的有效利用。 10. **用户界面**:虽然题目中没有明确提到,但一个完整的搜索引擎系统通常还包括用户友好的搜索界面,接收用户的...

    Wikipedia2Lucene:从HDFS导入Wikipedia XML转储到Lucene索引或Elasticsearch,并基于Lucene的MoreLikeThis查询检索类似的Wikipedia文章

    从HDFS导入Wikipedia XML转储到Lucene索引或Elasticsearch,并基于Lucene的MoreLikeThis查询检索类似的Wikipedia文章。 此应用程序是基于文本的文档相似性度量的实现,该度量被用作的研究中的基准度量。 将...

    Wiki-Search-Engine:涉及使用大小为 43 GB 的 2013 年数据转储在 Wikipedia Data Dump 上构建搜索引擎。 搜索结果实时返回

    1. 并行处理:Java的并发框架如ExecutorService和Future,使得数据处理和索引构建可以在多核CPU上并行进行,大大提高了处理速度。 2. 内存管理:Java虚拟机(JVM)的垃圾回收机制使得开发者无需关心内存的分配和...

    xwiki全文搜索lucene后台代码

    - **性能优化**:为了提高搜索速度,可以考虑使用多线程索引、内存缓冲、分布式搜索等技术。 以上就是XWiki全文搜索与Lucene后台代码的工作原理。通过深入理解这一过程,开发者可以更好地利用XWiki的搜索功能,同时...

    lucence case study

    - **学术相关性调整**:提高检索结果的学术价值。 **技术栈**: - Lucene - Tapestry Rossetti Archive 是一个致力于收集和展示 Dante Gabriel Rossetti 及其家族作品的网站。为了实现这些目标,项目团队采用了 ...

    ASP.NET源码——[博客空间]ScrewTurn Wiki 2.0.37.zip

    8. **搜索和索引**:为了方便用户快速查找信息,ScrewTurn Wiki可能包含了一个搜索引擎,使用ASP.NET的搜索API或第三方库,如Lucene.NET,实现全文搜索和索引功能。 9. **国际化和本地化**:为了满足全球用户的需求...

    ASP.NET-[博客空间]外索维客.99.zip

    9. **搜索和索引**:为了方便用户查找信息,Wiki系统通常需要实现全文搜索功能。这可能涉及Lucene.NET这样的全文搜索引擎库。 10. **Ajax和jQuery**:为了提升用户体验,使用Ajax技术可以实现部分页面的异步更新,...

    CodeXCavator - code indexing and search-开源

    搜索和索引基于Apache Software Foundation的Lucene框架。 CodeXCavator也可以通过插件扩展。 详细的文档可以在项目的Wiki中找到。 注意:如果您有一些有趣的语法突出显示定义并将其发送给我,我将把它们集成到下一...

    Solr文档.pdf

    尽管单独使用Lucene实现站内搜索在索引维护、索引性能优化和搜索性能优化方面需要较大的开发工作量,而通过第三方搜索引擎接口实现站内搜索又会带来系统依赖紧密和扩展性较差的问题,但Solr提供了一个相对较好的解决...

    2-8+Elasticsearch应用及平台建设实践.pdf

    在58集团的数据库部门中,Elasticsearch被用于多个业务场景,包括日志流水处理、用户标签画像、数据库二级缓存、安全风控行为数据、图数据库索引、监控数据检索以及Wiki文档搜索。随着业务规模的扩大,集群的数量和...

    SMW SolrStore-开源

    3. **数据同步**:确保 Mediawiki 和 Solr 之间的数据一致性,例如,每当 Mediawiki 中有页面被修改或创建时,索引器会更新 Solr 的索引。 ### 功能特性 1. **高性能搜索**:Solr 的分布式架构使得 SMW SolrStore ...

Global site tag (gtag.js) - Google Analytics