`
linliangyi2007
  • 浏览: 1012607 次
  • 性别: Icon_minigender_1
  • 来自: 福州
社区版块
存档分类
最新评论

Luci-mint站内搜索实测

阅读更多
关于Luci-mint

服务器硬件环境
目前搜索中心仅使用一台PC Server
CPU Intel(R) Xeon(R) CPU  E5520 (4核 8线程 、8M Cache) *  2
内存 24G
硬盘 IBM SCSI 硬盘 * 3  RAID5模式

服务器软件系统环境
操作系统 Red Hat AS 5.5
应用服务器 Resin Pro 3.1.9
JAVA运行环境 Sun JSDK 6U17-linux-x64
Lucene Lucene 3.0.1 Core
lucene-highlighter-3.0.1
lucene-memory-3.0.1
分词器 IKAnalyzer3.2.8

系统接口集成情况
目前中心索引服务器承载以下系统的搜索服务:
  • 论坛BBS搜索服务:实时增量索引、进行全索引备份 主索引容量:25G  | 备份索引容量:42G
  • 新闻/文章搜索服务:      实时增量索引、不进行全索引备份 主索引容量:8.9G |无备份索引
  • 百科(知识库)搜索服务: 实时增量索引 不进行全索引备份 主索引容量:176M |无备份索引
  • 视频搜索服务: 实时增量索引 、不进行全索引备份 主索引容量:430M | 无备份索引
  • FLASH搜索服务: 实时增量索引、 不进行全索引备份 主索引容量:15M | 无备份索引
  • 下载搜索服务: 实时增量索引、不进行全索引备份 主索引容量:6.7M | 无备份索引
  • 评论: 实时增量索引、不进行全索引备份 主索引:65M | 无备份索引
总计索引容量 : 78G


请求负载
服务器日请求 38万次
最高峰值 12次/秒并发

CPU负载 (SAR 记录)
                 CPU     %user     %nice   %system   %iowait   %steal    %idle
12:10:01 AM       all      1.02      0.00      0.12      0.11      0.00     98.75
12:20:01 AM       all      1.35      0.00      0.13      0.17      0.00     98.35
12:30:01 AM       all      1.07      0.00      0.11      0.09      0.00     98.73
12:40:01 AM       all      1.38      0.00      0.11      0.12      0.00     98.39
12:50:01 AM       all      1.05      0.00      0.10      0.11      0.00     98.74
01:00:01 AM       all      0.85      0.00      0.09      0.07      0.00     98.98
01:10:01 AM       all      0.74      0.00      0.08      0.05      0.00     99.13
01:20:01 AM       all      0.82      0.00      0.09      0.05      0.00     99.04
01:30:01 AM       all      0.99      0.00      0.13      0.17      0.00     98.71
01:40:01 AM       all      0.93      0.00      0.10      0.06      0.00     98.91
01:50:01 AM       all      0.92      0.00      0.10      0.06      0.00     98.92
02:00:06 AM       all      1.29      0.00      0.82      5.99      0.00     91.90
02:10:02 AM       all      2.37      0.00      1.50     19.11      0.00     77.02
02:20:03 AM       all      3.15      0.00      1.34     14.57      0.00     80.94
02:30:02 AM       all      7.52      0.00      0.92      7.43      0.00     84.13
02:40:01 AM       all      5.98      0.00      0.41      3.16      0.00     90.45
02:50:01 AM       all      2.39      0.00      0.24      1.82      0.00     95.55
03:00:02 AM       all      0.81      0.00      0.62      5.16      0.00     93.41
03:10:06 AM       all      1.60      0.00      1.49     13.89      0.00     83.03
03:20:02 AM       all      3.93      0.00      1.23     13.39      0.00     81.45
03:30:01 AM       all      7.15      0.00      0.69      7.80      0.00     84.36
03:40:01 AM       all      4.09      0.00      0.35      3.05      0.00     92.51
03:50:01 AM       all      1.02      0.00      0.06      0.70      0.00     98.22
04:00:01 AM       all      1.20      0.00      0.64      5.69      0.00     92.48
04:10:01 AM       all      1.88      0.00      1.42     13.04      0.00     83.66
04:20:01 AM       all      3.22      0.00      1.23     15.13      0.00     80.42
04:30:01 AM       all      7.89      0.00      0.78      8.04      0.00     83.29
04:40:02 AM       all      4.97      0.00      0.39      3.44      0.00     91.21
               CPU     %user     %nice   %system   %iowait    %steal     %idle
04:50:01 AM       all      0.95      0.00      0.07      0.69      0.00     98.29
05:00:01 AM       all      1.14      0.00      0.07      0.76      0.00     98.02
05:10:01 AM       all      1.21      0.00      0.08      0.79      0.00     97.92
05:20:01 AM       all      1.42      0.00      0.09      0.95      0.00     97.54
05:30:01 AM       all      1.17      0.00      0.07      0.74      0.00     98.03
05:40:01 AM       all      1.06      0.00      0.06      0.62      0.00     98.27
05:50:01 AM       all      1.27      0.00      0.07      0.59      0.00     98.07
06:00:01 AM       all      1.02      0.00      0.06      0.49      0.00     98.43
06:10:01 AM       all      1.04      0.00      0.06      0.47      0.00     98.44
06:20:01 AM       all      1.25      0.00      0.07      0.52      0.00     98.16
06:30:01 AM       all      0.98      0.00      0.06      0.48      0.00     98.48
06:40:01 AM       all      0.90      0.00      0.06      0.60      0.00     98.44
06:50:01 AM       all      0.40      0.00      0.04      0.26      0.00     99.30
07:00:01 AM       all      0.54      0.00      0.04      0.36      0.00     99.06
07:10:01 AM       all      0.41      0.00      0.04      0.31      0.00     99.25
07:20:01 AM       all      0.34      0.00      0.03      0.19      0.00     99.44
07:30:01 AM       all      0.57      0.00      0.05      0.35      0.00     99.03
07:40:01 AM       all      0.70      0.00      0.05      0.41      0.00     98.85
07:50:01 AM       all      0.50      0.00      0.05      0.34      0.00     99.11
08:00:01 AM       all      0.68      0.00      0.06      0.37      0.00     98.89
08:10:01 AM       all      0.62      0.00      0.06      0.35      0.00     98.97
08:20:01 AM       all      0.57      0.00      0.05      0.37      0.00     99.01
08:30:01 AM       all      0.63      0.00      0.05      0.29      0.00     99.03
08:40:01 AM       all      0.54      0.00      0.05      0.29      0.00     99.12
08:50:01 AM       all      0.61      0.00      0.06      0.34      0.00     99.00
09:00:01 AM       all      0.76      0.00      0.07      0.32      0.00     98.85
09:10:01 AM       all      1.04      0.00      0.10      0.36      0.00     98.50
09:20:01 AM       all      1.44      0.00      0.14      0.41      0.00     98.02
                CPU     %user    %nice   %system   %iowait    %steal    %idle
09:30:01 AM       all      1.50      0.00      0.15      0.38      0.00     97.97
09:40:01 AM       all      1.06      0.00      0.11      0.31      0.00     98.53
09:50:01 AM       all      1.21      0.00      0.14      0.31      0.00     98.34
10:00:01 AM       all      1.36      0.00      0.15      0.38      0.00     98.11
10:10:01 AM       all      1.34      0.00      0.16      0.41      0.00     98.09
10:20:01 AM       all      1.52      0.00      0.35      0.38      0.00     97.75
10:30:01 AM       all      1.44      0.00      0.16      0.41      0.00     97.99
10:40:01 AM       all      1.37      0.00      0.17      0.42      0.00     98.04
10:50:01 AM       all      1.23      0.00      0.15      0.41      0.00     98.20
11:00:01 AM       all      1.50      0.00      0.17      0.35      0.00     97.97
11:10:01 AM       all      1.58      0.00      0.19      0.41      0.00     97.82
11:20:01 AM       all      2.31      0.00      0.21      0.58      0.00     96.90
11:30:01 AM       all      1.37      0.00      0.13      0.30      0.00     98.19
11:40:01 AM       all      1.56      0.00      0.12      0.35      0.00     97.97
11:50:01 AM       all      1.16      0.00      0.10      0.30      0.00     98.44
12:00:01 PM       all      1.32      0.00      0.12      0.37      0.00     98.19
12:10:01 PM       all      1.47      0.00      0.14      0.34      0.00     98.05
12:20:01 PM       all      1.29      0.00      0.13      0.26      0.00     98.31
12:30:01 PM       all      1.55      0.00      0.15      0.30      0.00     98.00
12:40:01 PM       all      1.76      0.00      0.17      0.33      0.00     97.74
12:50:01 PM       all      1.83      0.00      0.18      0.39      0.00     97.59
01:00:01 PM       all      1.62      0.00      0.17      0.29      0.00     97.93
01:10:01 PM       all      1.70      0.00      0.17      0.32      0.00     97.82
01:20:01 PM       all      1.50      0.00      0.16      0.26      0.00     98.08
01:30:01 PM       all      1.65      0.00      0.18      0.33      0.00     97.84
01:40:01 PM       all      1.48      0.00      0.17      0.27      0.00     98.08
01:50:01 PM       all      1.52      0.00      0.18      0.28      0.00     98.03
02:00:01 PM       all      1.83      0.00      0.20      0.30      0.00     97.67
02:10:01 PM       all      1.76      0.00      0.19      0.29      0.00     97.76
02:20:01 PM       all      1.29      0.00      0.14      0.26      0.00     98.31
02:30:01 PM       all      1.61      0.00      0.15      0.31      0.00     97.92
02:40:01 PM       all      1.90      0.00      0.17      0.27      0.00     97.66
平均值
CPU     %user    %nice   %system   %iowait    %steal    %idle
Average:          all      1.63      0.00      0.25      1.89      0.00     96.22


综合分析
综合观察Luci-mint在网站内部搜索上的实测数据,虽然目前的系统负载较小(无论是数据容量还是用户并发量上说),但是,在单台服务器的情况下,不到5%的平均系统资源占用,给出的可扩展性是非常强滴~~~~对后续的增强,充满信心!




分享到:
评论
13 楼 tonytony3 2012-02-25  
en, 差不多得到需要的了,可以得词频,是从reader方向得,现在在比较频率得文章关键词
12 楼 linliangyi2007 2012-02-24  
tonytony3 写道
老师好,再次请教关Lucene的问题:

如果用lucene 得到一篇文章最高[如:前10]词频 的关键字呢?  [用来做特征]

我分析应该是在 索引完一篇文章后,有可能得到的,但不知实际怎或是否可以,有api吗?



lucene的实际上只是索引的api,它在索引过程中,为了后期的搜索评分,做了词频统计。但并不适合直接用于文章的词频分析。这部分api在indexreader中有一些,不过是以倒排索引为出发点得,而不是文章问出发点
11 楼 tonytony3 2012-02-24  
老师好,再次请教关Lucene的问题:

如果用lucene 得到一篇文章最高[如:前10]词频 的关键字呢?  [用来做特征]

我分析应该是在 索引完一篇文章后,有可能得到的,但不知实际怎或是否可以,有api吗?
10 楼 tonytony3 2011-12-03  
多谢了。。。
9 楼 linliangyi2007 2011-11-29  
tonytony3 写道
在网上查不到,弱弱问一句:“百万级搜索” 是什么意思啊?

是有100万的 分词
还是有100万的 索引文档

还是索引容量有 100万 = 1G?


在测自己的1G索引的,不知是算什么级...


百万级是指文档数量达到一百万。

跟索引容量没有关系的,索引容量看你的文档大小,和存储字段的大小,与文档数量没有正比关系,也无从进行索引速度的比较
8 楼 tonytony3 2011-11-26  
在网上查不到,弱弱问一句:“百万级搜索” 是什么意思啊?

是有100万的 分词
还是有100万的 索引文档

还是索引容量有 100万 = 1G?


在测自己的1G索引的,不知是算什么级...
7 楼 linliangyi2007 2011-11-10  
tonytony3 写道
a啊,搞错了,不是建FSDirectory 而是建 document 时 该用 数词库还是文件系统

原谅小菜


速度上看,文件系统肯定快,用数据库是因为需要分布式。

在索引量没有大到需要分布式的时候,用数据库只会更慢(数据库最终也是写文件系统的,你只不过转了一手)
6 楼 tonytony3 2011-11-08  
a啊,搞错了,不是建FSDirectory 而是建 document 时 该用 数词库还是文件系统

原谅小菜
5 楼 tonytony3 2011-11-08  
你好,有 个问题请指教, lucene3.4的好像没有什么db建的directory,而hibernate search就以 orm 索引为自豪, 到底是以FSDirectory来建好还是以 数据库建好? 性能那个好?
你推荐哪个 

关于 FS IO 性能与 DB 的性能谁好,在网上一直热论,我看了好多篇,一半一半,而我的结论是:“并发用 DB, 管理用DB, 如:查一个字段多的用DB,而不是打开文件,其他用FS” 请指正!
有些网友说:“看需求” 但就没有写,什么就什么,那逻辑没有写出来
4 楼 苏亮亮 2011-10-13  
楼主为什么使用resin呢 不用tomcat
3 楼 linliangyi2007 2011-04-26  
dsf007 写道
问您一下"实时写入,实时搜索"就是靠内存索引来实现完成吗?或者有额外原理?赐教下.


异步任务队列+内存索引,要解决“实时写入,实时搜索”,还要防止过度频繁的磁盘IO以及索引碎片,还有内存索引与主索引合并的问题
2 楼 dsf007 2011-04-26  
问您一下"实时写入,实时搜索"就是靠内存索引来实现完成吗?或者有额外原理?赐教下.
1 楼 lianj_lee 2011-04-02  
希望能有更高的并发来考验!

相关推荐

Global site tag (gtag.js) - Google Analytics