Luci-mint站内搜索实测

关于Luci-mint

服务器硬件环境
目前搜索中心仅使用一台PC Server
CPU Intel(R) Xeon(R) CPU  E5520 （4核 8线程 、8M Cache） *  2
内存 24G
硬盘 IBM SCSI 硬盘 * 3  RAID5模式

服务器软件系统环境
操作系统 Red Hat AS 5.5
应用服务器 Resin Pro 3.1.9
JAVA运行环境 Sun JSDK 6U17-linux-x64
Lucene Lucene 3.0.1 Core
lucene-highlighter-3.0.1
lucene-memory-3.0.1
分词器 IKAnalyzer3.2.8

系统接口集成情况
目前中心索引服务器承载以下系统的搜索服务：

• 论坛BBS搜索服务：实时增量索引、进行全索引备份 主索引容量：25G  | 备份索引容量：42G
• 新闻/文章搜索服务：      实时增量索引、不进行全索引备份 主索引容量：8.9G |无备份索引
• 百科（知识库）搜索服务： 实时增量索引 不进行全索引备份 主索引容量：176M |无备份索引
• 视频搜索服务： 实时增量索引 、不进行全索引备份 主索引容量：430M | 无备份索引
• FLASH搜索服务： 实时增量索引、 不进行全索引备份 主索引容量：15M | 无备份索引
• 下载搜索服务： 实时增量索引、不进行全索引备份 主索引容量：6.7M | 无备份索引
• 评论： 实时增量索引、不进行全索引备份 主索引：65M | 无备份索引

总计索引容量 ： 78G


请求负载
服务器日请求 38万次
最高峰值 12次/秒并发
CPU负载 (SAR 记录)
                 CPU     %user     %nice   %system   %iowait   %steal    %idle
12:10:01 AM       all      1.02      0.00      0.12      0.11      0.00     98.75
12:20:01 AM       all      1.35      0.00      0.13      0.17      0.00     98.35
12:30:01 AM       all      1.07      0.00      0.11      0.09      0.00     98.73
12:40:01 AM       all      1.38      0.00      0.11      0.12      0.00     98.39
12:50:01 AM       all      1.05      0.00      0.10      0.11      0.00     98.74
01:00:01 AM       all      0.85      0.00      0.09      0.07      0.00     98.98
01:10:01 AM       all      0.74      0.00      0.08      0.05      0.00     99.13
01:20:01 AM       all      0.82      0.00      0.09      0.05      0.00     99.04
01:30:01 AM       all      0.99      0.00      0.13      0.17      0.00     98.71
01:40:01 AM       all      0.93      0.00      0.10      0.06      0.00     98.91
01:50:01 AM       all      0.92      0.00      0.10      0.06      0.00     98.92
02:00:06 AM       all      1.29      0.00      0.82      5.99      0.00     91.90
02:10:02 AM       all      2.37      0.00      1.50     19.11      0.00     77.02
02:20:03 AM       all      3.15      0.00      1.34     14.57      0.00     80.94
02:30:02 AM       all      7.52      0.00      0.92      7.43      0.00     84.13
02:40:01 AM       all      5.98      0.00      0.41      3.16      0.00     90.45
02:50:01 AM       all      2.39      0.00      0.24      1.82      0.00     95.55
03:00:02 AM       all      0.81      0.00      0.62      5.16      0.00     93.41
03:10:06 AM       all      1.60      0.00      1.49     13.89      0.00     83.03
03:20:02 AM       all      3.93      0.00      1.23     13.39      0.00     81.45
03:30:01 AM       all      7.15      0.00      0.69      7.80      0.00     84.36
03:40:01 AM       all      4.09      0.00      0.35      3.05      0.00     92.51
03:50:01 AM       all      1.02      0.00      0.06      0.70      0.00     98.22
04:00:01 AM       all      1.20      0.00      0.64      5.69      0.00     92.48
04:10:01 AM       all      1.88      0.00      1.42     13.04      0.00     83.66
04:20:01 AM       all      3.22      0.00      1.23     15.13      0.00     80.42
04:30:01 AM       all      7.89      0.00      0.78      8.04      0.00     83.29
04:40:02 AM       all      4.97      0.00      0.39      3.44      0.00     91.21
               CPU     %user     %nice   %system   %iowait    %steal     %idle
04:50:01 AM       all      0.95      0.00      0.07      0.69      0.00     98.29
05:00:01 AM       all      1.14      0.00      0.07      0.76      0.00     98.02
05:10:01 AM       all      1.21      0.00      0.08      0.79      0.00     97.92
05:20:01 AM       all      1.42      0.00      0.09      0.95      0.00     97.54
05:30:01 AM       all      1.17      0.00      0.07      0.74      0.00     98.03
05:40:01 AM       all      1.06      0.00      0.06      0.62      0.00     98.27
05:50:01 AM       all      1.27      0.00      0.07      0.59      0.00     98.07
06:00:01 AM       all      1.02      0.00      0.06      0.49      0.00     98.43
06:10:01 AM       all      1.04      0.00      0.06      0.47      0.00     98.44
06:20:01 AM       all      1.25      0.00      0.07      0.52      0.00     98.16
06:30:01 AM       all      0.98      0.00      0.06      0.48      0.00     98.48
06:40:01 AM       all      0.90      0.00      0.06      0.60      0.00     98.44
06:50:01 AM       all      0.40      0.00      0.04      0.26      0.00     99.30
07:00:01 AM       all      0.54      0.00      0.04      0.36      0.00     99.06
07:10:01 AM       all      0.41      0.00      0.04      0.31      0.00     99.25
07:20:01 AM       all      0.34      0.00      0.03      0.19      0.00     99.44
07:30:01 AM       all      0.57      0.00      0.05      0.35      0.00     99.03
07:40:01 AM       all      0.70      0.00      0.05      0.41      0.00     98.85
07:50:01 AM       all      0.50      0.00      0.05      0.34      0.00     99.11
08:00:01 AM       all      0.68      0.00      0.06      0.37      0.00     98.89
08:10:01 AM       all      0.62      0.00      0.06      0.35      0.00     98.97
08:20:01 AM       all      0.57      0.00      0.05      0.37      0.00     99.01
08:30:01 AM       all      0.63      0.00      0.05      0.29      0.00     99.03
08:40:01 AM       all      0.54      0.00      0.05      0.29      0.00     99.12
08:50:01 AM       all      0.61      0.00      0.06      0.34      0.00     99.00
09:00:01 AM       all      0.76      0.00      0.07      0.32      0.00     98.85
09:10:01 AM       all      1.04      0.00      0.10      0.36      0.00     98.50
09:20:01 AM       all      1.44      0.00      0.14      0.41      0.00     98.02
                CPU     %user    %nice   %system   %iowait    %steal    %idle
09:30:01 AM       all      1.50      0.00      0.15      0.38      0.00     97.97
09:40:01 AM       all      1.06      0.00      0.11      0.31      0.00     98.53
09:50:01 AM       all      1.21      0.00      0.14      0.31      0.00     98.34
10:00:01 AM       all      1.36      0.00      0.15      0.38      0.00     98.11
10:10:01 AM       all      1.34      0.00      0.16      0.41      0.00     98.09
10:20:01 AM       all      1.52      0.00      0.35      0.38      0.00     97.75
10:30:01 AM       all      1.44      0.00      0.16      0.41      0.00     97.99
10:40:01 AM       all      1.37      0.00      0.17      0.42      0.00     98.04
10:50:01 AM       all      1.23      0.00      0.15      0.41      0.00     98.20
11:00:01 AM       all      1.50      0.00      0.17      0.35      0.00     97.97
11:10:01 AM       all      1.58      0.00      0.19      0.41      0.00     97.82
11:20:01 AM       all      2.31      0.00      0.21      0.58      0.00     96.90
11:30:01 AM       all      1.37      0.00      0.13      0.30      0.00     98.19
11:40:01 AM       all      1.56      0.00      0.12      0.35      0.00     97.97
11:50:01 AM       all      1.16      0.00      0.10      0.30      0.00     98.44
12:00:01 PM       all      1.32      0.00      0.12      0.37      0.00     98.19
12:10:01 PM       all      1.47      0.00      0.14      0.34      0.00     98.05
12:20:01 PM       all      1.29      0.00      0.13      0.26      0.00     98.31
12:30:01 PM       all      1.55      0.00      0.15      0.30      0.00     98.00
12:40:01 PM       all      1.76      0.00      0.17      0.33      0.00     97.74
12:50:01 PM       all      1.83      0.00      0.18      0.39      0.00     97.59
01:00:01 PM       all      1.62      0.00      0.17      0.29      0.00     97.93
01:10:01 PM       all      1.70      0.00      0.17      0.32      0.00     97.82
01:20:01 PM       all      1.50      0.00      0.16      0.26      0.00     98.08
01:30:01 PM       all      1.65      0.00      0.18      0.33      0.00     97.84
01:40:01 PM       all      1.48      0.00      0.17      0.27      0.00     98.08
01:50:01 PM       all      1.52      0.00      0.18      0.28      0.00     98.03
02:00:01 PM       all      1.83      0.00      0.20      0.30      0.00     97.67
02:10:01 PM       all      1.76      0.00      0.19      0.29      0.00     97.76
02:20:01 PM       all      1.29      0.00      0.14      0.26      0.00     98.31
02:30:01 PM       all      1.61      0.00      0.15      0.31      0.00     97.92
02:40:01 PM       all      1.90      0.00      0.17      0.27      0.00     97.66
平均值
CPU     %user    %nice   %system   %iowait    %steal    %idle
Average:          all      1.63      0.00      0.25      1.89      0.00     96.22

综合分析
综合观察Luci-mint在网站内部搜索上的实测数据，虽然目前的系统负载较小（无论是数据容量还是用户并发量上说），但是，在单台服务器的情况下，不到5%的平均系统资源占用，给出的可扩展性是非常强滴~~~~对后续的增强，充满信心！

评论

13 楼 tonytony3 2012-02-25  

en, 差不多得到需要的了，可以得词频，是从reader方向得，现在在比较频率得文章关键词

12 楼 linliangyi2007 2012-02-24  

tonytony3 写道

老师好，再次请教关Lucene的问题：

如果用lucene 得到一篇文章最高［如：前10］词频 的关键字呢？  ［用来做特征］

我分析应该是在 索引完一篇文章后，有可能得到的，但不知实际怎或是否可以，有api吗？

lucene的实际上只是索引的api，它在索引过程中，为了后期的搜索评分，做了词频统计。但并不适合直接用于文章的词频分析。这部分api在indexreader中有一些，不过是以倒排索引为出发点得，而不是文章问出发点

11 楼 tonytony3 2012-02-24  

老师好，再次请教关Lucene的问题：

如果用lucene 得到一篇文章最高［如：前10］词频 的关键字呢？  ［用来做特征］

我分析应该是在 索引完一篇文章后，有可能得到的，但不知实际怎或是否可以，有api吗？

10 楼 tonytony3 2011-12-03  

多谢了。。。

9 楼 linliangyi2007 2011-11-29  

tonytony3 写道

在网上查不到，弱弱问一句：“百万级搜索” 是什么意思啊？

是有100万的 分词
还是有100万的 索引文档

还是索引容量有 100万 = 1G？


在测自己的1G索引的，不知是算什么级...

百万级是指文档数量达到一百万。

跟索引容量没有关系的，索引容量看你的文档大小，和存储字段的大小，与文档数量没有正比关系，也无从进行索引速度的比较

8 楼 tonytony3 2011-11-26  

在网上查不到，弱弱问一句：“百万级搜索” 是什么意思啊？

是有100万的 分词
还是有100万的 索引文档

还是索引容量有 100万 = 1G？


在测自己的1G索引的，不知是算什么级...

7 楼 linliangyi2007 2011-11-10  

tonytony3 写道

a啊，搞错了，不是建FSDirectory 而是建 document 时 该用 数词库还是文件系统

原谅小菜

速度上看，文件系统肯定快，用数据库是因为需要分布式。

在索引量没有大到需要分布式的时候，用数据库只会更慢（数据库最终也是写文件系统的，你只不过转了一手）

6 楼 tonytony3 2011-11-08  

a啊，搞错了，不是建FSDirectory 而是建 document 时 该用 数词库还是文件系统

原谅小菜

5 楼 tonytony3 2011-11-08  

你好，有 个问题请指教， lucene3.4的好像没有什么db建的directory，而hibernate search就以 orm 索引为自豪， 到底是以FSDirectory来建好还是以 数据库建好？ 性能那个好？
你推荐哪个 

关于 FS IO 性能与 DB 的性能谁好，在网上一直热论，我看了好多篇，一半一半，而我的结论是：“并发用 DB， 管理用DB， 如：查一个字段多的用DB，而不是打开文件,其他用FS” 请指正！
有些网友说：“看需求” 但就没有写，什么就什么，那逻辑没有写出来

4 楼 苏亮亮 2011-10-13  

楼主为什么使用resin呢 不用tomcat

3 楼 linliangyi2007 2011-04-26  

dsf007 写道

问您一下"实时写入，实时搜索"就是靠内存索引来实现完成吗?或者有额外原理?赐教下.

异步任务队列+内存索引，要解决“实时写入，实时搜索”，还要防止过度频繁的磁盘IO以及索引碎片，还有内存索引与主索引合并的问题

2 楼 dsf007 2011-04-26  

问您一下"实时写入，实时搜索"就是靠内存索引来实现完成吗?或者有额外原理?赐教下.

1 楼 lianj_lee 2011-04-02  

希望能有更高的并发来考验!