`

使用solr搭建你的全文检索[转]

阅读更多

Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟?那么建议先看看下面两篇文档:

实战Lucene,第 1 部分: 初识 Lucene:http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/

Lucene加速Web搜索应用程序的开发:http://www.ibm.com/developerworks/cn/web/wa-lucene2/

一、 solr介绍

solr是基于Lucene Java搜索库的企业级全文搜索引擎,目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ 。solr需要运行在一个servlet 容器里,例如tomcat5.5solrlucene的上层提供了一个基于HTTP/XMLWeb Services,我们的应用需要通过这个服务与solr进行交互。

二、 solr安装和配置

关于solr的安装和配置,这里也有两篇非常好的文档,作者同时也 Lucene Java 项目的提交人和发言人:

使用Apache Solr实现更加灵巧的搜索:http://www.ibm.com/developerworks/cn/java/j-solr1/index.html

http://www.ibm.com/developerworks/cn/java/j-solr2/index.html

下面主要说说需要注意的地方。

Solr的安装非常简单,下载solrzip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录(example目录下),建立/tomcat55/conf/Catalina/localhost/solr.xml文件。

<!--<br /> <br /> Code highlighting produced by Actipro CodeHighlighter (freeware)<br /> http://www.CodeHighlighter.com/<br /> <br /> --><Context docBase="D:/solr.war" debug="0" crossContext="true" >

   
<Environment name="solr/home" type="java.lang.String" value="D:/solr/solr" override="true" />

</Context>

     观察这个指定的solr主位置,里面存在两个文件夹:conf和data。其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml。data则用于存放索引文件。

     schema.xml主要包括typesfields和其他的一些缺省设置。

solrconfig.xml用来配置Solr的一些系统属性,例如与索引和查询处理有关的一些常见的配置选项,以及缓存、扩展等等。

上面的文档对这两个文件有比较详细的说明,非常容易上手。注意到schema.xml里有一个

<!--<br /> <br /> Code highlighting produced by Actipro CodeHighlighter (freeware)<br /> http://www.CodeHighlighter.com/<br /> <br /> --><uniqueKey>url</uniqueKey>

的配置,这里将url字段作为索引文档的唯一标识符,非常重要。

三、 加入中文分词

对全文检索而言,中文分词非常的重要,这里采用了qieqie庖丁分词(非常不错:))。集成非常的容易,我下载的是2.0.4-alpha2版本,其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory。

<!--<br /> <br /> Code highlighting produced by Actipro CodeHighlighter (freeware)<br /> http://www.CodeHighlighter.com/<br /> <br /> -->/**

 * Created by IntelliJ IDEA.

 * User: ronghao

 * Date: 2007-11-3

 * Time: 14:40:59

 * 中文切词 对庖丁切词的封装

 
*/

public class ChineseTokenizerFactory extends BaseTokenizerFactory {

    
/**

     * 最多切分   默认模式

     
*/

    
public static final String MOST_WORDS_MODE = "most-words";

    
/**

     * 按最大切分

     
*/

    
public static final String MAX_WORD_LENGTH_MODE = "max-word-length";

    
private String mode = null;

    
public void setMode(String mode) {

             
if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)

                      
|| "default".equalsIgnoreCase(mode)) {

                  
this.mode=MOST_WORDS_MODE;

             } 
else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {

                  
this.mode=MAX_WORD_LENGTH_MODE;

             }

             
else {

                  
throw new IllegalArgumentException("不合法的分析器Mode参数设置:" + mode);

             }

        }

    @Override

    
public void init(Map<String, String> args) {

        
super.init(args);

        setMode(args.get(
"mode"));

    }

    
public TokenStream create(Reader input) {

        
return new PaodingTokenizer(input, PaodingMaker.make(),

                  createTokenCollector());

    }

    
private TokenCollector createTokenCollector() {

        
if( MOST_WORDS_MODE.equals(mode))

             
return new MostWordsTokenCollector();

        
if( MAX_WORD_LENGTH_MODE.equals(mode))

             
return new MaxWordLengthTokenCollector();

        
throw new Error("never happened");

    }

}

在schema.xml的字段text配置里加入该分词器。

<!--<br /> <br /> Code highlighting produced by Actipro CodeHighlighter (freeware)<br /> http://www.CodeHighlighter.com/<br /> <br /> --><fieldtype name="text" class="solr.TextField" positionIncrementGap="100">

            
<analyzer type="index">

                
<tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>


                
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>

                
<filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"/>

                
<filter class="solr.LowerCaseFilterFactory"/>


                
<filter class="solr.RemoveDuplicatesTokenFilterFactory"/>

            
</analyzer>

            
<analyzer type="query">

                
<tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>               

                
<filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>

                
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>

                
<filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0"/>

                
<filter class="solr.LowerCaseFilterFactory"/>

                
<filter class="solr.RemoveDuplicatesTokenFilterFactory"/>

            
</analyzer>

        
</fieldtype>

</types>

    完成后重启tomcat,即可在http://localhost:8080/solr/admin/analysis.jsp

体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下,注意修改jar包里字典的home。

四、 与自己应用进行集成

Solr安装完毕,现在可以将自己的应用与solr集成。其实过程非常的简单,应用增加数据-->根据配置的字段构建add的xml文档-->post至solr/update。

应用删除数据à根据配置的索引文档唯一标识符构建delete的xml文档-->post至solr/update。

检索数据à构建查询xml—>get至/solr/select/-->对solr返回的xml进行处理-->页面展现。

具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示,非常方便。

关于中文,solr内核支持UTF-8编码,所以在tomcat里的server.xml需要进行配置

<!--<br /> <br /> Code highlighting produced by Actipro CodeHighlighter (freeware)<br /> http://www.CodeHighlighter.com/<br /> <br /> --><Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/>

另外,向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码,然后用“+”连接。

<!--<br /> <br /> Code highlighting produced by Actipro CodeHighlighter (freeware)<br /> http://www.CodeHighlighter.com/<br /> <br /> -->String[] array = StringUtils.split(query, null0);

        
for (String str : array) {

            result 
= result + URLEncoder.encode(str, "UTF-8"+ "+";

        }

 

更多好东西:http://www.lsoba.com

分享到:
评论

相关推荐

    利用Solr搭建你的搜索引擎

    标题中的“利用Solr搭建你的搜索引擎”意味着我们将探讨Apache Solr这一开源全文搜索平台的搭建过程。Solr是基于Lucene库的,提供了一个高效、可扩展的搜索和导航功能,广泛应用于各种企业的数据检索需求。 Solr的...

    solr全文检索环境搭建

    Solr全文检索环境搭建 Apache Solr是一款基于Java的开源搜索服务器,专为高效全文检索、拼写检查、高亮显示结果以及复杂查询语法等功能设计。它被广泛应用于各种规模的网站和企业应用中,提供了丰富的搜索功能。...

    solr+IK分词集成tomcat实现全文检索

    本教程将详细阐述如何通过Solr结合IK分词器,在Tomcat服务器上搭建一个功能完备的全文检索系统。 首先,我们需要了解Solr。Solr是Apache Lucene项目下的一个开源搜索服务器,它提供了高性能、可扩展的全文检索、...

    solr全文检索

    Solr全文检索是一种高效、可扩展的开源搜索和分析引擎,由Apache软件基金会开发。它允许用户快速地对大量文本数据进行全文搜索、拼写检查、高亮显示搜索结果等功能。在本压缩包中,包含了关于Solr环境搭建、配置详解...

    lucene简单介绍及solr搭建使用

    标题“lucene简单介绍及solr搭建使用”涉及了两个主要的开源搜索技术:Lucene和Solr。Lucene是Java开发的一个全文检索库,而Solr则是基于Lucene构建的企业级搜索平台,提供了更高级的功能和管理界面。 **Lucene简介...

    solr 搭建和使用

    Solr,全称为Apache Solr,是一款开源的企业级全文...通过理解并实践上述步骤,你可以成功搭建并使用Solr,实现高效的数据检索和管理。在实际应用中,还需要根据业务需求调整和优化Solr的配置,以达到最佳的搜索效果。

    使用lucenesolr搭建Oracle数据库全文搜索服务.docx

    ### 使用Lucene Solr搭建Oracle数据库全文搜索服务 #### 一、基础知识介绍 - **Lucene**: 是一个高性能、全功能的全文检索引擎库。它为开发者提供了构建搜索应用程序所需的工具,但不提供完整的搜索应用。 - **...

    solr搭建(含拼音检索,三种分词器,停词器,扩展词库)

    本教程将详细讲解如何搭建Solr,并涵盖拼音检索、三种主流分词器(smartcn、IK、mmseg4j)的配置以及停词器和扩展词库的使用。 首先,我们需要下载并安装Solr。通常,Solr的官方下载页面会提供最新版本的Solr压缩包...

    SOLR搭建企业搜索平台

    **SOLR搭建企业搜索平台** Apache Solr是一款强大的开源企业级全文搜索引擎,它基于Java且构建于Apache Lucene之上。Solr提供了高效、可扩展的搜索和导航功能,广泛应用于各种规模的企业环境中,用于处理大量数据的...

    SpringBoot集成Solr全文检索,示例工程源码,ik分词插件

    在本项目中,我们主要探讨的是如何将SpringBoot与Apache Solr进行集成,实现全文检索功能。Apache Solr是一款开源的搜索服务器,它提供了高效、可扩展的全文检索、Hit高亮、 faceted search(分类浏览)以及相关性...

    solr服务器的搭建

    Solr服务器搭建是一个重要的步骤,它是Apache Lucene项目的一个企业级搜索平台,广泛应用于全文检索、数据索引和搜索解决方案。下面将详细讲解如何在Java 1.7和Tomcat 1.7环境下搭建Solr 4.10.3单机版。 一、Java...

    solr环境搭建总结一

    Solr是Apache Lucene项目下的一个企业级搜索服务器,它提供了全文检索、高亮显示、 faceted search(分面搜索)以及实时分析等功能。本文将详细介绍如何搭建Solr环境,并解析其配置文件,同时也会涉及SolrJ客户端的...

    solr环境搭建相关资源包

    最后,IK分词器是针对中文的全文检索分析器,适用于Solr和Lucene。资源包中的IK Analyzer 2012FF_hf1是IK分词器的一个版本,它提供了对中文词语的智能分词。在使用IK分词器之前,需要将其解压并将jar文件添加到Solr...

Global site tag (gtag.js) - Google Analytics