论坛首页 Java企业应用论坛

simple 的lucene做千万级数据索引速度

浏览 9942 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (18)
作者 正文
   发表时间:2011-11-05  

个人笔记本测试数据

数据是mysql ,应数据量过大用了分表存储,

1.开始时查询速度 显示50页

2.点击分页后速度

第一次速度在2~3秒,因为索引存id和索引信息,通过name获得id后再回数据找每条数据,如果所有数据存索引中,没准会提高速度,但牺牲很多空间和创建索引时间

点下页速度在0.4~03秒之间,simple对数据做了cache。

数据优化在simple上学习不少,各位大侠还有能提高性能建议,纠正我错误地方请回帖,3q

 

原文: http://simpleframework.net/blog/v/69666.html

   发表时间:2011-11-07  
用来管理传销数据库确实很快。
0 请登录后投票
   发表时间:2011-11-07  
你这个是mysql数据库还是什么东西?

web应用?这帖子又想说明什么?
0 请登录后投票
   发表时间:2011-11-07  
lucene不是做全文检索的吗,和千万数据量有什么关系呀

PS:看到安利就不想说什么了
0 请登录后投票
   发表时间:2011-11-07  
http://wenku.baidu.com/view/c050ca1efc4ffe473368ab38.html
0 请登录后投票
   发表时间:2011-11-07  
这样测试不对,你对什么字段进行索引了。
0 请登录后投票
   发表时间:2011-11-07  
海量数据在实际应用上应该考虑
1、硬件存储
2、io(大数据很伤硬盘)
3、网络瓶颈
4、数据库设计:水平垂直分区、索引的建立(要考虑索引的开销)
5、应用程序(多线程、查询语句是走全表扫描还是走索引)

个人觉得跟lucene没啥关系吧
0 请登录后投票
   发表时间:2011-11-07  
alexlx 写道
海量数据在实际应用上应该考虑
1、硬件存储
2、io(大数据很伤硬盘)
3、网络瓶颈
4、数据库设计:水平垂直分区、索引的建立(要考虑索引的开销)
5、应用程序(多线程、查询语句是走全表扫描还是走索引)

个人觉得跟lucene没啥关系吧

楼主的意思是用lucene代替数据库的like查找
0 请登录后投票
   发表时间:2011-11-07  
lucene主要开销还是在建立本身的索引上吧
如果数据变更很频繁索引也要变更 
0 请登录后投票
   发表时间:2011-11-07  
这个和lucene有神马关系?
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics