Lucene(搜索引擎) 去掉重复主题引发的问题？？？

0 0

Lucene(搜索引擎) 去掉重复主题引发的问题？？？10

主题：spring 是怎么？

有二个人回答：

回答一：spring 是一个整合了多功能框架，
回答二：spring 里面包含了ＭＶＣ

我现在开始搜索：

我搜一：spring

会出现主题：spring 是怎么？（只能出现一个，要去重）

我搜二：框架
会出现主题：spring 是怎么？
我搜三，ＭＶＣ
会出现主题：spring 是怎么？

使用：DuplicateFilter出现的问题：

DuplicateFilter filter = new DuplicateFilter(uniqueField);

query = new FilteredQuery(query, filter);

－－－－－－以上是先去掉重复再进行搜索，跟踪源码会发现，在过滤时，进行合并，要么取第一个要么取第后一个

如上面例子，进行合并后，只取回答一或者回答二，把另外一条给忽略掉，（假设取第一条）

这样一来我用第二条中的内容搜索时，＂ＭＶＣ＂找不到关联的主题，，有对去重内容有研究过的，，希望给个解决方案

问题补充

  beneo的回答：

 public static void main(String[] args) {  
        //Lucene Document的域名;  
  
        //实例化IKAnalyzer分词器  
        Analyzer analyzer = new IKAnalyzer();  
  
  
        Directory directory = null;  
        IndexWriter iwriter = null;  
        IndexSearcher isearcher = null;  
        try {  
            //建立内存索引对象  
            directory = new RAMDirectory();  
            iwriter = new IndexWriter(directory, analyzer, true, IndexWriter.MaxFieldLength.LIMITED);  
            Document doc = new Document();  
            doc.add(new Field("topicId", "1", Field.Store.YES, Field.Index.NOT_ANALYZED));  
            doc.add(new Field("answerId", "1", Field.Store.YES, Field.Index.NOT_ANALYZED));  
            doc.add(new Field("content", "spring 是怎么？ spring 是一个整合了多功能框架", Field.Store.YES, Field.Index.ANALYZED));  
            iwriter.addDocument(doc);  
  
            Document doc2 = new Document();  
            doc2.add(new Field("topicId", "1", Field.Store.YES, Field.Index.NOT_ANALYZED));  
            doc2.add(new Field("answerId", "2", Field.Store.YES, Field.Index.NOT_ANALYZED));  
            doc2.add(new Field("content", "spring 是怎么？ spring 里面包含了模型-视图-控制", Field.Store.YES, Field.Index.ANALYZED));  
            iwriter.addDocument(doc2);  
  
  
            iwriter.close();  
  
            //实例化搜索器  
            isearcher = new IndexSearcher(directory);  
  
  
  
            BooleanQuery bq = new BooleanQuery();  
            TermQuery tq = new TermQuery(new Term("content", "框架"));  
            bq.add(tq, BooleanClause.Occur.MUST);  
  
            DuplicateFilter df = new DuplicateFilter("topicId");  
            df.setKeepMode(DuplicateFilter.PM_FAST_INVALIDATION);  
  
  
            //搜索相似度最高的5条记录  
            TopDocs topDocs = isearcher.search(bq,df,5);  
            System.out.println("命中：" + topDocs.totalHits);  
            System.out.println("分数：" + topDocs.getMaxScore());  
            //输出结果  
            ScoreDoc[] scoreDocs = topDocs.scoreDocs;  
            for (int i = 0; i < topDocs.totalHits; i++) {  
                Document targetDoc = isearcher.doc(scoreDocs[i].doc);  
                System.out.println("内容：" + targetDoc.toString());  
            }  
  
        } catch (CorruptIndexException e) {  
            e.printStackTrace();  
        } catch (LockObtainFailedException e) {  
            e.printStackTrace();  
        } catch (IOException e) {  
            e.printStackTrace();  
        } finally {  
            if (isearcher != null) {  
                try {  
                    isearcher.close();  
                } catch (IOException e) {  
                    e.printStackTrace();  
                }  
            }  
            if (directory != null) {  
                try {  
                    directory.close();  
                } catch (IOException e) {  
                    e.printStackTrace();  
                }  
            }  
        }  
    }

不过这正引申出我的问题：

查＂模型＂可以查出来内容　，，查＂功能＂就查不出来内容．．．．．．这是因为DuplicateFilter只是取了最后一条，，把第一条的忽略掉的原故．．．

企业应用 Lucene

2011年1月05日 10:46

wu_quanyin
2
0 0 2

1个答案按时间排序按投票排序

0 0

其实这个问题真的没有那么复杂，我们直接上源代码

  public DocIdSet getDocIdSet(IndexReader reader) throws IOException
	{
		if(processingMode==PM_FAST_INVALIDATION)
		{
			return fastBits(reader);
		}
		else
		{
			return correctBits(reader);
		}
	}

你最后获得的Doc id set，结果文档必须出自此文档集合，你要确认这点

可以看到过滤模式有2种PM_FAST_INVALIDATION以及PM_FULL_INVALIDATION

我们就看fastBits好了


 private OpenBitSet fastBits(IndexReader reader) throws IOException
	{
		
    OpenBitSet bits=new OpenBitSet(reader.maxDoc());
		bits.set(0,reader.maxDoc()); //assume all are valid
		Term startTerm=new Term(fieldName); // 这个filedName就是你需要过滤的field
		TermEnum te = reader.terms(startTerm); // Returns an enumeration of all terms starting at a given term，显然 null 的情况不再目前的讨论范围
		if(te!=null)
		{
			Term currTerm=te.term();
			
                        // 如果属于这个指定的field，取出所有这个field的文档
			while((currTerm!=null)&&(currTerm.field()==startTerm.field())) //term fieldnames are interned
			{
                                // 如果docFreq > 1，你给的例子是2个doc
				if(te.docFreq()>1)
				{
					int lastDoc=-1;
					//unset potential duplicates
					TermDocs td = reader.termDocs(currTerm);
					td.next();
					if(keepMode==KM_USE_FIRST_OCCURRENCE)
					{           
                                                //保留第一个                                    
						td.next();
					}
					do
					{        
                                                // 后面的都抹去
						lastDoc=td.doc();
            bits.clear(lastDoc);
					}while(td.next());
					if(keepMode==KM_USE_LAST_OCCURRENCE)
					{
						//恢复最后一个
						bits.set(lastDoc);
					}					
				}
				if(!te.next())
				{
					break;
				}
				currTerm=te.term();
			}
		}
		return bits;
	}

如果你搜索的内容在doc1的话，最后返回的是doc1；如果你是搜索的内容在doc2的话，最后返回的还是doc1。

最后query再对doc1进行查询，结果就是你最后看到的结果。

2011年1月05日 10:46