SOLR拼写检查相关

6.8相似匹配

　　在我们使用网页搜索时，会注意到每一个结果都包含一个 “相似页面” 链接，单击该链接，就会发布另一个搜索请求，查找出与起初结果类似的文档。Solr 使用 MoreLikeThisComponent（MLT）和 MoreLikeThisHandler 实现了一样的功能。如上所述，MLT 是与标准 SolrRequestHandler 集成在一起的；MoreLikeThisHandler 与 MLT 结合在一起，并添加了一些其他选项，但它要求发布一个单一的请求。我将着重讲述 MLT，因为使用它的可能性更大一些。幸运的是，不需要任何设置就可以查询它，所以您现在就可以开始查询。

　　MLT 要求字段被储存或使用检索词向量，检索词向量以一种以文档为中心的方式储存信息。MLT 通过文档的内容来计算文档中关键词语，然后使用原始查询词语和这些新词语创建一个新的查询。提交新查询就会返回其他查询结果。所有这些都可以用检索词向量来完成：只需将 termVectors="true" 添加到 schema.xml 中的 <field> 声明。

MoreLikeThisComponent 参数：

参数	说明	值域
mlt	在查询时，打开/关闭 MoreLikeThisComponent 的布尔值。	true|false
mlt.count	可选。每一个结果要检索的相似文档数。	> 0
mlt.fl	用于创建 MLT 查询的字段。	任何被储存的或含有检索词向量的字段。
mlt.maxqt	可选。查询词语的最大数量。由于长文档可能会有很多关键词语，这样 MLT 查询可能会很大，从而导致反应缓慢或可怕的   TooManyClausesException，该参数只保留关键的词语。	> 0

要想使用匹配相似首先在 solrconfig.xml 中配置 MoreLikeThisHandler 

         

   

   

<requestHandler     name="/mlt" class="solr.MoreLikeThisHandler">  
    </requestHandler>

   

   

 

然后我就可以请求

http://localhost:8983/skyCore/mlt?q=id%3A6F398CCD-2DE0-D3B1-9DD6-D4E532FFC531&mlt.true&mlt.fl=content&wt=xml&indent=true

上面请求的意思查找 id 为 6F398CCD-2DE0-D3B1-9DD6-D4E532FFC531 的 document ,然后返回与此 document 在 name 字段上相似的其他 document。需要注意的是 mlt.fl 中的 field 的 termVector=true 才有效果  

         

   

   

<field     name="content" type="text_smartcn"     indexed="false" stored="true"     multiValued="false" termVector="true"/>

   

   

 

使用SolrJ时也同样加入参数就可以

            

   

   

SolrQuery  query     = new SolrQuery();

   

query.set("qt", "/mlt");

   

query.set("mlt.fl","content");

   

query.set("fl", "id,");

   

query.set("q", "id: 6F398CCD-2DE0-D3B1-9DD6-D4E532FFC531");

   

query.setStart(0);

   

query.setRows(5);

   

QueryResponse      rsp = server.query(query);

   

SolrDocumentList list = rsp.getResults();

   

   

 

6.9拼音检索

       拼音检索中国人的专用检索,例如:中文内容为 中国 的输入zhongguo、zg、zhonggu 全拼、简拼、拼音的相邻的一部份都应该能检索出 中国 来。

       想要实现拼音检索第一个就是拼音转换我这里用的是pinyin4j进行拼音转换。第二个就是N-Gram的题目，推敲到用户可能输入的既不是前缀也不是后缀，所以此处选择的是N-Gram技巧，但不同于常用的N-Gram，我应用的从一边开端的单向的N-Gram，Solr里的实现叫EdgeNGramTokenFilter，但是分的分的太细了，不需要这么复杂EdgeNGramTokenFilter,也就是说我们用的N-Gram不同于传统的N-Gram。

        同样的例子使用EdgeNGramTokenFilter从前往后取2-Gram的结果是zh, 一般是取min–max之间的所有gram，所以使用EdgeNGramTokenFilter取2-20的gram结果就是zh,zho, zhon, zhong, zhongg, zhonggu, zhongguo, 从这个例子也不难理解为什么我要选择使用EdgeNGramTokenFilter而非一般意义上的N-Gram， 考虑到用户可能输入的不是前缀而是后缀，所以为了照顾这些用户，我选择了从前往后和从后往前使用了两次EdgeNGramTokenFilter，这样不只是前缀、后缀，二十任意的字串都考虑进去了，所以大幅度的提高了搜索体验.

       现在思路明确了我们把它结合到Solr中，为了方便使用现在写了两个Filter进行处理拼音分词问题一个是拼音转换Filter（PinyinTransformTokenFilter）一个是拼音N-Gram的Filter(PinyinNGramTokenFilter),这样一来使用时就不用在添加索引前做拦音的转换了。而且PinyinTransformTokenFilter还有个好处就是它只使用中文分词器分过的词，也就是说做转换的词都是有用的不重复的，不会对没用的停词类的做拼音转换和重复拼音转换，这样大大的提高了拼音转换速度。

       想要Solr支持拼音检索就要先把拼音分词（PinyinAnalyzer）的jar复制到\solr\contrib\analysis-extras\lib下，然后在schema.xml中配置一个拼音字段类型：

   

         

   

   

<fieldType name="text_pinyin"     class="solr.TextField" positionIncrementGap="0">

   

      <analyzer type="index">

   

          <tokenizer     class="org.apache.lucene.analysis.cn.smart.SmartChineseSentenceTokenizerFactory"/>

   

          <filter     class="org.apache.lucene.analysis.cn.smart.SmartChineseWordTokenFilterFactory"/>

   

         <filter     class="com.shentong.search.analyzers.PinyinTransformTokenFilterFactory"     minTermLenght="2" />

   

<filter     class="com.shentong.search.analyzers.PinyinNGramTokenFilterFactory"     minGram="1" maxGram="20" />

   

          </analyzer>

   

   <analyzer type="query">

   

                 <tokenizer class="solr.WhitespaceTokenizerFactory"/>

   

                        <filter class="solr.LowerCaseFilterFactory"/>

   

          </analyzer>

   

        </fieldType>

   

   

 

minTermLenght：最小中文词长度，意思是小于这个值的中文词不会做拼音转换。

minGram：最小拼音切分长度。
如果想使用简拼的话在拼音转换Filter 使用这个参数isFirstChar="true"就可以了

评论

1 楼 夜行侠 2016-08-31  

基于微博数据检测的Solr实战开发
课程观看地址：http://www.xuetuwuyou.com/course/145
课程出自学途无忧网：http://www.xuetuwuyou.com


solrcloud5.2.1+zookeeper一部精通
课程观看地址：http://www.xuetuwuyou.com/course/15