`
sealbird
  • 浏览: 586372 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

lucene2.32 and lucene3.02 搜索对比

阅读更多
lucene2.32 and lucene3.02 搜索对比 ,三次搜索结果的归结所花时间(应用较特殊)

引用
condition java -Xmx24g -Xms24g -Xmn23g -Xss128k -XX:+UseConcMarkSweepGC -XX:CMSFullGCsBeforeCompaction=8 -XX:+UseCMSCompactAtFullCollection -XX:ParallelGCThreads=8 -XX:CMSInitiatingOccupancyFraction=500m document number :12000000 1\ new version load load julei: 111088,71074 mill(2min) 23.5GB old version load load julei 66925 mill 26.5GB 2\bi=1+stype=0+channel=9+sf=THREE+sort=60+tis=1+lay=2+nowPage=10+keyword=技术规格 new : a\ <page> <perPage>10</perPage> <total>5667685</total> <count>7500</count> <countone>0</countone> <counttwo>6463</counttwo> <countthree>1037</countthree> <begin>91</begin> <end>100</end> <time>1638</time> [总个搜索]花费总时间为:1872 old <page> <perPage>10</perPage> <total>5658667</total> <count>7500</count> <countone>0</countone> <counttwo>6463</counttwo> <countthree>1037</countthree> <begin>91</begin> <end>100</end> <time>3354</time> [总个搜索]花费总时间为:4524 b\ <page> <perPage>10</perPage> <total>5667685</total> <count>7500</count> <countone>0</countone> <counttwo>6463</counttwo> <countthree>1037</countthree> <begin>91</begin> <end>100</end> <time>1388</time> [总个搜索]花费总时间为:1544 old <page> <perPage>10</perPage> <total>5658667</total> <count>7500</count> <countone>0</countone> <counttwo>6463</counttwo> <countthree>1037</countthree> <begin>91</begin> <end>100</end> <time>2028</time> [总个搜索]花费总时间为:3167 c\ <perPage>10</perPage> <total>5667685</total> <count>7500</count> <countone>0</countone> <counttwo>6463</counttwo> <countthree>1037</countthree> <begin>91</begin> <end>100</end> <time>1295</time> [总个搜索]花费总时间为:1419 old <perPage>10</perPage> <total>5658667</total> <count>7500</count> <countone>0</countone> <counttwo>6463</counttwo> <countthree>1037</countthree> <begin>91</begin> <end>100</end> <time>2012</time> [总个搜索]花费总时间为:3213 3\ bi=1+stype=0+channel=9+sf=THREE+sort=60+tis=1+lay=2+nowPage=10 new : a\ <page> <perPage>10</perPage> <total>11658794</total> <count>7500</count> <countone>7500</countone> <counttwo>0</counttwo> <countthree>0</countthree> <begin>91</begin> <end>100</end> <time>1123</time> [总个搜索]花费总时间为:1248 old: <page> <perPage>10</perPage> <total>11639726</total> <count>7500</count> <countone>7500</countone> <counttwo>0</counttwo> <countthree>0</countthree> <begin>91</begin> <end>100</end> <time>1841</time> [总个搜索]花费总时间为:2933 b\ <page> <perPage>10</perPage> <total>11658794</total> <count>7500</count> <countone>7500</countone> <counttwo>0</counttwo> <countthree>0</countthree> <begin>91</begin> <end>100</end> <time>1108</time> [总个搜索]花费总时间为:1248 c\ <page> <perPage>10</perPage> <total>11658794</total> <count>7500</count> <countone>7500</countone> <counttwo>0</counttwo> <countthree>0</countthree> <begin>91</begin> <end>100</end> <time>1045</time> [总个搜索]花费总时间为:1232 old: <perPage>10</perPage> <total>11639726</total> <count>7500</count> <countone>7500</countone> <counttwo>0</counttwo> <countthree>0</countthree> <begin>91</begin> <end>100</end> <time>1576</time> [总个搜索]花费总时间为:2699 4\ bi=1+stype=0+channel=9+sf=THREE+sort=60+tis=1+lay=2+nowPage=10+keyword=凯迪系列散热器 new \ <page> <perPage>10</perPage> <total>2621837</total> <count>7501</count> <countone>1</countone> <counttwo>0</counttwo> <countthree>7500</countthree> <begin>91</begin> <end>100</end> <time>562</time> [总个搜索]花费总时间为:733 old <page> <perPage>10</perPage> <total>2619057</total> <count>7500</count> <countone>1</countone> <counttwo>0</counttwo> <countthree>7499</countthree> <begin>91</begin> <end>100</end> <time>1014</time> </page> [总个搜索]花费总时间为:2153 <perPage>10</perPage> <total>2619057</total> <count>7500</count> <countone>1</countone> <counttwo>0</counttwo> <countthree>7499</countthree> <begin>91</begin> <end>100</end> <time>998</time> [总个搜索]花费总时间为:2059 5\ bi=1+stype=0+channel=9+sf=THREE+sort=60+tis=1+nowPage=10+keyword=凯迪系列散热器 取最低值(5次到10次): new: <perPage>10</perPage> <total>2621837</total> <count>7501</count> <countone>1</countone> <counttwo>0</counttwo> <countthree>7500</countthree> <begin>91</begin> <end>100</end> <time>468</time> [总个搜索]花费总时间为:546 old <page> <perPage>10</perPage> <total>2619057</total> <count>7500</count> <countone>1</countone> <counttwo>0</counttwo> <countthree>7499</countthree> <begin>91</begin> <end>100</end> <time>609</time> [总个搜索]花费总时间为:1747


经过测试初步总结如下
lucene3.0.2优化点:
    所用的搜索时间提升了50%,消耗内存相差3G之多(26.5G-23.5GB )
lucene3.0.2不足之处,经过几次测试,初始化索引加载时间要比lucene2.0.3长



2010-1-5

1\测试单次搜索的数据承受量
2\测试单次搜索的数据承受量,加上类别统计()

条件:
机器配置
Intel(R) Xeon(R) CPU E5506 @2.13GHz (2 处理器)
内存 32GB
系统类型 64位操作系统

1\
condition :bi=1+stype=0+channel=9+sf=THREE+sort=60+tis=1+nowPage=1+keyword=供应+lay=2
document num:58,293,970 (110G)

<page>
<perPage>10</perPage>
<total>4916415</total>
<count>7500</count>
<countone>7500</countone>
<counttwo>0</counttwo>
<countthree>0</countthree>
<begin>1</begin>
<end>10</end>
<time>858</time>
[总个搜索]花费总时间为:936


2\
document number  116,587,940 (220G)
condition :bi=1+stype=0+channel=9+sf=THREE+sort=60+tis=1+nowPage=1+keyword=供应+lay=2

used memory
5.37G

<page>
<perPage>10</perPage>
<total>9832830</total>
<count>7500</count>
<countone>7500</countone>
<counttwo>0</counttwo>
<countthree>0</countthree>
<begin>1</begin>
<end>10</end>
<time>3635</time>
</page>

[总个搜索]花费总时间为:3807

3\ 关键字较多情况下
document number  116,587,940
condition :bi=1+stype=0+channel=9+sf=THREE+sort=60+tis=1+nowPage=1+keyword=供应产品+lay=2
要10多秒才能出结果了




初步结论
5000万的时候 搜索带类别聚类还能接受
达到亿级时 要10多秒才能出数据,如果单线程搜索,基本不能用,需要考滤并行算法了处理之
分享到:
评论

相关推荐

    lucene-3.02

    《Lucene 3.0.2:高效Java文件检索库与简单搜索引擎构建指南》 Lucene,这个在Java世界中赫赫有名的全文检索库,以其卓越的性能和易用性,成为了开发人员构建搜索引擎的首选工具。本次我们将深入探讨Lucene 3.0.2...

    Lucene与关系型数据库对比

    而Lucene的索引机制则更加灵活和高效,它基于项的静态存储,能够实现基于项的高效搜索,从而大幅提高了搜索速度和资源利用率。 ### 结论 综上所述,Lucene与关系型数据库各有千秋,分别在全文检索和事务处理两个...

    lucene 2.0 api以及lucene 3.0 api

    同样,`lucene-2.0.CHM` 文件则提供了 Lucene 2.0 的 API 文档,尽管旧版本,但依然能为那些需要维护旧系统或对比学习的开发者提供参考。 总的来说,从 Lucene 2.0 进化到 3.0,主要变化在于性能提升、查询功能增强...

    lucene.net 2.32源码 (.net平台下的开源索引器)

    《深入剖析Lucene.NET 2.3.2:.NET平台下的开源全文搜索引擎》 Lucene.NET是一款在.NET平台上实现的开源全文搜索引擎库,它基于Java版本的Lucene,为.NET开发者提供了强大的文本搜索功能。Lucene.NET 2.3.2版本是其...

    Lucene时间区间搜索

    Lucene是一款强大的全文搜索引擎库,广泛应用于各种数据检索场景。在C#环境下,利用Lucene进行时间区间搜索是提高数据检索效率和精确度的重要手段。本篇将深入探讨如何在C#中实现Lucene的时间区间查询匹配,以及涉及...

    Lucene 搜索方法(模糊搜索)

    在IT领域,搜索引擎技术是不可或缺的一部分,而Apache Lucene是一个高性能、全文本搜索库,它为开发者提供了构建自定义搜索引擎应用程序所需的所有工具。本篇我们将深入探讨如何在Lucene中实现模糊搜索,以及相关的...

    Lucene全文搜索_LuceneJava全文搜索_

    在"Lucene全文搜索_LuceneJava全文搜索_"这个主题中,我们将深入探讨Lucene如何在Java环境中实现高效的全文搜索引擎。首先,Lucene的核心概念包括文档(Document)、字段(Field)、索引(Index)和搜索(Search)。...

    lucene 实现类似百度搜索

    **Lucene 搜索引擎实现详解** Lucene 是一个开源全文搜索引擎库,由 Apache 软件基金会维护。它提供了一套强大的数据结构和算法,用于高效地存储和检索大量文本数据。通过 Lucene,开发者可以轻松地在自己的应用...

    lucene站内搜索

    **Lucene站内搜索技术详解** Lucene是一个高性能、全文本搜索库,由Apache软件基金会开发,被广泛应用于各种搜索引擎和站内搜索解决方案中。它提供了丰富的文本分析、索引和搜索功能,使得开发者能够轻松地在自己的...

    lucene7.3常用jar包

    You should also see files called lucene-queryparser-{version}.jar, lucene-analyzers-common-{version}.jar and lucene-demo-{version}.jar under queryparser, analysis/common/ and demo/, respectively.

    开发自己的搜索引擎 lucene + heritrix

    在这个过程中,Lucene 和 Heritrix 是两个非常关键的工具,它们分别在搜索引擎的构建中扮演着不同的角色。 首先,Lucene 是一个基于 Java 的开源信息检索库,它为开发者提供了一系列用于构建搜索引擎的工具和接口。...

    C#调用Lucene方法-实现快速搜索

    2. **创建索引**:索引是Lucene搜索的核心。我们需要定义一个Analyzer(分析器)来处理文本,如使用StandardAnalyzer进行英文分词。然后,使用Directory(目录)对象(如FSDirectory)指定存储索引的位置,最后使用...

    利用Lucene 实现高级搜索

    ### 利用Lucene实现高级搜索的关键知识点 #### Lucene简介 Lucene是Apache软件基金会下的一个开源全文检索库,提供了高性能的文本搜索能力。它不仅适用于网站的搜索功能,还可以用于任何需要文本搜索的应用场景,如...

    Lucene示例 BM25相似度计算

    总之,Lucene的BM25示例是一个极好的学习资源,它涵盖了从索引构建到查询执行的关键步骤,并通过实际对比展示了如何使用更先进的相似度算法提升搜索效果。对于希望在文本检索领域深入研究或应用Lucene的开发者来说,...

    lucene-4.7.0全套jar包

    Lucene是一个开源全文搜索引擎库,由Apache软件基金会开发并维护。它提供了一个高级、灵活的文本搜索API,允许开发者轻松地在应用程序中实现复杂的搜索功能。这次提供的“lucene-4.7.0”压缩包包含了Lucene 4.7.0...

    Lucene5学习之拼音搜索

    《深入探索Lucene5:拼音搜索的实现与应用》 Lucene是一个强大的全文搜索引擎库,广泛应用于各种信息检索系统中。在Lucene5版本中,它不仅提供了基础的文本搜索功能,还支持了拼音搜索,这极大地提高了中文搜索的...

    lucene in action英文版 lucene 3.30包

    《Lucene in Action》是关于Apache Lucene的权威指南,这本书深入浅出地介绍了全文搜索引擎的构建和优化。Lucene是一个高性能、全文本搜索库,它允许开发人员在应用程序中轻松实现复杂的搜索功能。这本书主要面向...

    springmvc集成lucene全文搜索

    而Lucene是Apache软件基金会的一个开放源代码全文搜索引擎库,能够帮助开发者实现强大的搜索功能。本篇文章将深入探讨如何在Spring MVC项目中集成Lucene进行全文搜索,以提升用户体验。 首先,我们需要理解Spring ...

    lucene,lucene教程,lucene讲解

    lucene,lucene教程,lucene讲解。 为了对文档进行索引,Lucene 提供了五个基础的类 public class IndexWriter org.apache.lucene.index.IndexWriter public abstract class Directory org.apache.lucene.store....

    基于Lucene和Heritrix的职位垂直搜索引擎的设计与实现

    《基于Lucene和Heritrix的职位垂直搜索引擎的设计与实现》是一篇深入探讨搜索引擎技术在特定领域的应用的优秀研究生毕业论文。这篇论文的核心是利用开源工具Lucene和Heritrix来构建一个针对职位信息的垂直搜索引擎,...

Global site tag (gtag.js) - Google Analytics