论坛首页 Java企业应用论坛

simple 的lucene做千万级数据索引速度

浏览 9943 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (18)
作者 正文
   发表时间:2011-11-07  
他自己的simple的广告贴~~ 想要宣传,但是又找不到相关性,所以随便堆砌出来点东西的软文!
其他这东西想说的就是用lucene索引id和name
根据lucene检索name返回的结果,即id对应的list集合再去数据库中取出相应id数据
水贴,大家努力下埋了吧
0 请登录后投票
   发表时间:2011-11-07  
1、所有详细信息通过分表储存在mysql中
2、需要搜索的字段通过lucene建索引
3、搜索时先搜索索引,返回id,根据这些id再从mysql中查详细信息
4、有空你们可以去看看sphinx或sorl或lucene主要用来建索引
5、以上方案可以解决大数据量问题,测试100亿条的文本数据,大概10t的索引,查询速度在3秒之内一点问题都没有
6、很多mysql的优化可以做的,主要缓存机制,有空来我blog哪看看,可以提供技术支持
0 请登录后投票
   发表时间:2011-11-07  
有广告帖的嫌疑
0 请登录后投票
   发表时间:2011-11-07  
看不下去了 这样的帖子也进了主页
0 请登录后投票
   发表时间:2011-11-08  
lz是想说他把name字段做进了索引,所以第二次访问走索引会快是吗
0 请登录后投票
   发表时间:2011-11-08  
lucene本来就可以当数据库用的
0 请登录后投票
   发表时间:2011-11-08  
lzj0470 写道
这样测试不对,你对什么字段进行索引了。

他对“安利”两个字进行检索了,他应该是把所有的查询结果放进了lucene 索引库,然后对"安利"进行检索
0 请登录后投票
   发表时间:2011-11-08  
看到所有记录的内容相同就知道,这个结果没什么意义了。我以前测试lucene吞吐量的时候,下了几百兆的txt小说,用来做测试。
0 请登录后投票
   发表时间:2011-12-29  
你这全部都一样  谈什么性能啊
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics