lucene分布式搜索sensei的使用及完善

原创文章，转载请注明地址： http://rabbit9898.iteye.com/blog/1130674

 

Sensei是LinkedIn的一个分布式搜索系统。安装步骤参考：

http://linkedin.jira.com/wiki/display/SENSEI/Getting+Started

或者 http://rabbit9898.iteye.com/blog/997165  。

sensei项目一直在升级中，估计安装起来越来越复杂了

 

1. Sensei的体系结构：

 

2. 完善后的体系结构

 

 

在sensei中采用了两级结果合并来处理。在一个Node中可以有多个分片索引（Partition/Shard），在查询一个关键词时，一个Node上可以并行查询多个分片（P1,P2）可以对结果进行合并；在搜索服务中可以对多个Node的搜索结果进行二次合并。数据调用流程如上面数字所示。

 

 

在结构中添加了cache 和NoSQL 两块。

 

2.1 cache的添加

 cache添加失去了zoie的实时性，主要是因为：

 1） 在数据分发服务中，各个节点很难保证建立索引的一致性结果造成了排序不一致

 2）因为有删除的数据，结果lucene中计算term的TF和IDF时，删除的数据的分词结果计算在Term的TF和IDF。 当删除该数据时，该数据分词后的term响应的TF不会删除，造成了不同索引中Score不一样（如上面的Node1中的p2 和 Node2中的P2即使索引的数据一样，但是Term的TF不一样，就会造成结果的score有细微差别）。

 

2.2 NoSQL的添加

 lucene中如果数据保存在索引中，翻页比较多的时候会比较慢。 每次从索引中取出数据，效率也不太理想。因此采用NoSQL. 从NoSQL根据ID和查询的关键词，从中取出时间、标题、高亮的内容等其他字段。