论坛首页 Java企业应用论坛

使用solr搭建你的全文检索

浏览 24623 次
精华帖 (0) :: 良好帖 (11) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2007-11-06  

Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟?那么建议先看看下面两篇文档:<o:p></o:p>

实战Lucene,第 1 部分: 初识 Lucenehttp://www.ibm.com/developerworks/cn/java/j-lo-lucene1/<o:p></o:p>

Lucene加速Web搜索应用程序的开发:http://www.ibm.com/developerworks/cn/web/wa-lucene2/<o:p></o:p>

<o:p> </o:p>

solr介绍

solr是基于Lucene Java搜索库的企业级全文搜索引擎,目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ solr需要运行在一个servlet 容器里,例如tomcat5.5solrlucene的上层提供了一个基于HTTP/XMLWeb Services,我们的应用需要通过这个服务与solr进行交互。<o:p></o:p>

solr安装和配置

关于solr的安装和配置,这里也有两篇非常好的文档,作者同时也 Lucene Java 项目的提交人和发言人:<o:p></o:p>

使用Apache Solr实现更加灵巧的搜索:http://www.ibm.com/developerworks/cn/java/j-solr1/index.html<o:p></o:p>

http://www.ibm.com/developerworks/cn/java/j-solr2/index.html<o:p></o:p>

下面主要说说需要注意的地方。<o:p></o:p>

Solr的安装非常简单,下载solrzip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录(example目录下),建立/tomcat55/conf/Catalina/localhost/solr.xml文件。

xml 代码
 
  1. <Context docBase="D:/solr.war" debug="0" crossContext="true" >  
  2.    <Environment name="solr/home" type="java.lang.String" value="D:/solr/solr" override="true" />  
  3. </Context>  
<o:p></o:p>

<o:p></o:p>

观察这个指定的solr主位置,里面存在两个文件夹:confdata。其中conf里存放了对solr而言最为重要的两个配置文件schema.xmlsolrconfig.xmldata则用于存放索引文件。<o:p></o:p>

schema.xml主要包括typesfields和其他的一些缺省设置。<o:p></o:p>

solrconfig.xml用来配置Solr的一些系统属性,例如与索引和查询处理有关的一些常见的配置选项,以及缓存、扩展等等。<o:p></o:p>

上面的文档对这两个文件有比较详细的说明,非常容易上手。注意到schema.xml里有一个

xml 代码
 
  1. <uniqueKey>url</uniqueKey>  
的配置,这里将url字段作为索引文档的唯一标识符,非常重要。<o:p></o:p>

加入中文分词

对全文检索而言,中文分词非常的重要,这里采用了qieqie庖丁分词(非常不错:))。集成非常的容易,我下载的是2.0.4-alpha2版本,其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solrBaseTokenizerFactory

java 代码
 
  1. /** 
  2.  * Created by IntelliJ IDEA. 
  3.  * User: ronghao 
  4.  * Date: 2007-11-3 
  5.  * Time: 14:40:59 
  6.  * 中文切词  对庖丁切词的封装 
  7.  */  
  8. public class ChineseTokenizerFactory extends BaseTokenizerFactory {  
  9.     /** 
  10.      * 最多切分   默认模式 
  11.      */  
  12.     public static final String MOST_WORDS_MODE = "most-words";  
  13.     /** 
  14.      * 按最大切分 
  15.      */  
  16.     public static final String MAX_WORD_LENGTH_MODE = "max-word-length";  
  17.   
  18.     private String mode = null;  
  19.   
  20.     public void setMode(String mode) {  
  21.             if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)  
  22.                     || "default".equalsIgnoreCase(mode)) {  
  23.                 this.mode=MOST_WORDS_MODE;  
  24.             } else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {  
  25.                 this.mode=MAX_WORD_LENGTH_MODE;  
  26.             }  
  27.             else {  
  28.                 throw new IllegalArgumentException("不合法的分析器Mode参数设置:" + mode);  
  29.             }  
  30.         }  
  31.   
  32.     @Override  
  33.     public void init(Map<String, String> args) {  
  34.         super.init(args);  
  35.         setMode(args.get("mode"));  
  36.     }  
  37.   
  38.     public TokenStream create(Reader input) {  
  39.         return new PaodingTokenizer(input, PaodingMaker.make(),  
  40.                 createTokenCollector());  
  41.     }  
  42.   
  43.     private TokenCollector createTokenCollector() {  
  44.         if( MOST_WORDS_MODE.equals(mode))  
  45.             return new MostWordsTokenCollector();  
  46.         if( MAX_WORD_LENGTH_MODE.equals(mode))  
  47.             return new MaxWordLengthTokenCollector();  
  48.         throw new Error("never happened");  
  49.     }  
  50. }  
<o:p></o:p>

<o:p></o:p>

schema.xml的字段text配置里加入该分词器。<o:p></o:p>

xml 代码
 
  1. <fieldtype name="text" class="solr.TextField" positionIncrementGap="100">  
  2.            <analyzer type="index">  
  3.                <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>  
  4.                <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>  
  5.                <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"/>  
  6.                <filter class="solr.LowerCaseFilterFactory"/>  
  7.                <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>  
  8.            </analyzer>  
  9.            <analyzer type="query">  
  10.                <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>                  
  11.                <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>  
  12.                <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>  
  13.                <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0"/>  
  14.                <filter class="solr.LowerCaseFilterFactory"/>  
  15.                <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>  
  16.            </analyzer>  
  17.        </fieldtype>  
  18.    </types>  

<o:p></o:p>

完成后重启tomcat,即可在http://localhost:8080/solr/admin/analysis.jsp<o:p></o:p>

体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solrlib下,注意修改jar包里字典的home<o:p></o:p>

与自己的应用进行集成

Solr安装完毕,现在可以将自己的应用与solr集成。其实过程非常的简单,应用增加数据-->根据配置的字段构建addxml文档-->postsolr/update<o:p></o:p>

应用删除数据-->根据配置的索引文档唯一标识符构建deletexml文档-->postsolr/update<o:p></o:p>

检索数据à构建查询xml—>get/solr/select/-->solr返回的xml进行处理-->页面展现。<o:p></o:p>

具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示,非常方便。<o:p></o:p>

关于中文,solr内核支持UTF-8编码,所以在tomcat里的server.xml需要进行配置<o:p></o:p>

xml 代码
  1. <Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8"/>
<o:p></o:p>

另外,向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码,然后用“+”连接。<o:p></o:p>

java 代码
  1. String[] array = StringUtils.split(query, null, 0);
  2. for (String str : array) {
  3. result = result + URLEncoder.encode(str, "UTF-8") + "+";
  4. }

<o:p></o:p>

   发表时间:2007-11-07  
lz自己写的?为什么看到没有闭合的
<!--</span-->
这个啊。

我仔细看了下,比较杂乱。

大家想要学习solr,可以参考下ibm文章,最好的方法还是官网上的教程,wiki。问题发到mail-list上。

0 请登录后投票
   发表时间:2007-11-07  
[quote="imjl"]lz自己写的?为什么看到没有闭合的[CODE][/CODE]这个啊。 我仔细看了下,比较杂乱。 大家想要学习solr,可以参考下ibm文章,最好的方法还是官网上的教程,wiki。问题发到mail-list上。 [/quote]
是比较杂乱,重新编排了一下。
0 请登录后投票
   发表时间:2008-01-18  
不要意思,这篇文章好像我在IBM Blog看到过啊
0 请登录后投票
   发表时间:2008-10-07  
请问solr查询参数indent=on是什么意思啊?
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics