引用:
http://bbs.zdnet.com.cn/archiver/tid-181555.html Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟?那么建议先看看下面两篇文档:
实战Lucene,第 1 部分: 初识 Lucene:http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/
用Lucene加速Web搜索应用程序的开发:http://www.ibm.com/developerworks/cn/web/wa-lucene2/
一、 solr介绍
solr是基于Lucene Java搜索库的企业级全文搜索引擎,目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ .solr需要运行在一个servlet 容器里,例如tomcat5.5.solr在lucene的上层提供了一个基于HTTP/XML的Web Services,我们的应用需要通过这个服务与solr进行交互。
二、 solr安装和配置
关于solr的安装和配置,这里也有两篇非常好的文档,作者同时也是 Lucene Java 项目的提交人和发言人:
使用Apache Solr实现更加灵巧的搜索:http://www.ibm.com/developerworks/cn/java/j-solr1/index.html
http://www.ibm.com/developerworks/cn/java/j-solr2/index.html
下面主要说说需要注意的地方。
Solr的安装非常简单,下载solr的zip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5的webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录(example目录下),建立/tomcat55/conf/Catalina/localhost/solr.xml文件。
<Context docBase="D:/solr.war" debug="0" crossContext="true" ><Environment name="solr/home" type="java.lang.String" value="D:/solr/solr" override="true" /></Context>
观察这个指定的solr主位置,里面存在两个文件夹:conf和data.其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml.data则用于存放索引文件。
schema.xml主要包括types、fields和其他的一些缺省设置。
solrconfig.xml用来配置Solr的一些系统属性,例如与索引和查询处理有关的一些常见的配置选项,以及缓存、扩展等等。
上面的文档对这两个文件有比较详细的说明,非常容易上手。注意到schema.xml里有一个
<uniqueKey>url</uniqueKey>
的配置,这里将url字段作为索引文档的唯一标识符,非常重要。
三、 加入中文分词
对全文检索而言,中文分词非常的重要,这里采用了qieqie庖丁分词(非常不错:))。集成非常的容易,我下载的是2.0.4-alpha2版本,其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory.
/**
* Created by IntelliJ IDEA.
* User: ronghao
* Date: 2007-11-3
* Time: 14:40:59
* 中文切词 对庖丁切词的封装
*/
public class ChineseTokenizerFactory extends BaseTokenizerFactory {
/**
* 最多切分 默认模式
*/
public static final String MOST_WORDS_MODE = "most-words";
/**
* 按最大切分
*/
public static final String MAX_WORD_LENGTH_MODE = "max-word-length";
private String mode = null;
public void setMode(String mode) {
if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)
|| "default".equalsIgnoreCase(mode)) {
this.mode=MOST_WORDS_MODE;
} else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {
this.mode=MAX_WORD_LENGTH_MODE;
}
else {
throw new IllegalArgumentException("不合法的分析器Mode 参数设置:" + mode);
}
}
@Override
public void init(Map args) {
super.init(args);
setMode(args.get("mode"));
}
public TokenStream create(Reader input) {
return new PaodingTokenizer(input, PaodingMaker.make(),
createTokenCollector());
}
private TokenCollector createTokenCollector() {
if( MOST_WORDS_MODE.equals(mode))
return new MostWordsTokenCollector();
if( MAX_WORD_LENGTH_MODE.equals(mode))
return new MaxWordLengthTokenCollector();
throw new Error("never happened");
}
}
在schema.xml的字段text配置里加入该分词器。
<fieldtype name="text" class="solr.TextField" positionIncrementGap="100"> <analyzer type="index"> <tokenizer class="com.ronghao.fulltextsearch.analyzer. ChineseTokenizerFactory" mode="most-words"/> <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/> <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"/> <filter class="solr.LowerCaseFilterFactory"/> <filter class="solr.RemoveDuplicatesTokenFilterFactory"/> </analyzer> <analyzer type="query"> <tokenizer class="com.ronghao.fulltextsearch.analyzer. ChineseTokenizerFactory" mode="most-words"/> <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> <filter class="solr.StopFilterFactory" ignoreCase="true" words=" stopwords.txt"/> <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0"/> <filter class="solr.LowerCaseFilterFactory"/> <filter class="solr.RemoveDuplicatesTokenFilterFactory"/> </analyzer> </fieldtype>
完成后重启tomcat,即可在http://localhost:8080/solr/admin/analysis.jsp
体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下,注意修改jar包里字典的home.
四、 与自己应用进行集成
Solr安装完毕,现在可以将自己的应用与solr集成。其实过程非常的简单,应用增加数据——>根据配置的字段构建add的xml文档——>post至solr/update.
应用删除数据à根据配置的索引文档唯一标识符构建delete的xml文档——>post至solr/update.
检索数据à构建查询xml—>get至/solr/select/——>对solr返回的xml进行处理——>页面展现。
具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示,非常方便。
关于中文,solr内核支持UTF-8编码,所以在tomcat里的server.xml需要进行配置
<Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/>
另外,向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码,然后用“+”连接。
String[] array = StringUtils.split(query, null, 0);
for (String str : array) {
result = result + URLEncoder.encode(str, "UTF-8") + "+";
}
相关推荐
标题中的“利用Solr搭建你的搜索引擎”意味着我们将探讨Apache Solr这一开源全文搜索平台的搭建过程。Solr是基于Lucene库的,提供了一个高效、可扩展的搜索和导航功能,广泛应用于各种企业的数据检索需求。 Solr的...
Solr 搭建步骤详解 Solr 是一款流行的开源搜索引擎 Server,基于 Lucene 搜索库。该引擎可以提供高效、可扩展、灵活的搜索功能。下面是 Solr 搭建步骤的详细解释: 1. Solr 搭建准备 在搭建 Solr 之前,需要了解...
### 使用Lucene Solr搭建Oracle数据库全文搜索服务 #### 一、基础知识介绍 - **Lucene**: 是一个高性能、全功能的全文检索引擎库。它为开发者提供了构建搜索应用程序所需的工具,但不提供完整的搜索应用。 - **...
标题“lucene简单介绍及solr搭建使用”涉及了两个主要的开源搜索技术:Lucene和Solr。Lucene是Java开发的一个全文检索库,而Solr则是基于Lucene构建的企业级搜索平台,提供了更高级的功能和管理界面。 **Lucene简介...
【SOLR搭建企业搜索平台】 SOLR(Apache Solr)是一款开源的企业级全文搜索引擎,基于Lucene库,提供高效、可扩展的搜索和分析功能。本文将详细阐述如何利用SOLR搭建一个企业搜索平台,包括所需环境、配置步骤以及...
Solr,全称为Apache Solr,是一款开源的企业级全文...通过理解并实践上述步骤,你可以成功搭建并使用Solr,实现高效的数据检索和管理。在实际应用中,还需要根据业务需求调整和优化Solr的配置,以达到最佳的搜索效果。
Solr是中国Apache软件基金会开发的一款高性能、基于Java的全文搜索引擎服务器。它允许用户通过HTTP请求对索引进行创建、更新和查询,同时提供了丰富的搜索功能,如布尔运算、短语匹配、评分排序等。在本资源包中,...
Solr全文检索环境搭建 Apache Solr是一款基于Java的开源搜索服务器,专为高效全文检索、拼写检查、高亮显示结果以及复杂查询语法等功能设计。它被广泛应用于各种规模的网站和企业应用中,提供了丰富的搜索功能。...
【Solr搭建教程文档】 SolrCloud是Apache Solr的一个分布式搜索和索引服务的实现,它结合了Zookeeper来管理集群状态和分布式操作。本教程将指导你在Win7环境下搭建一个单机版的伪分布式SolrCloud环境,利用Tomcat...
Solr全文检索是一种高效、可扩展的开源搜索和分析引擎,由Apache软件基金会开发。它允许用户快速地对大量文本数据进行全文搜索、拼写检查、高亮显示搜索结果等功能。在本压缩包中,包含了关于Solr环境搭建、配置详解...
本教程将详细阐述如何通过Solr结合IK分词器,在Tomcat服务器上搭建一个功能完备的全文检索系统。 首先,我们需要了解Solr。Solr是Apache Lucene项目下的一个开源搜索服务器,它提供了高性能、可扩展的全文检索、...
Apache Solr是一款基于Lucene的开源全文搜索引擎,它提供了分布式搜索、近实时处理、多字段排序等功能。以下是对Solr集群搭建的详细步骤和关键知识点的解释。 1. **系统需求**:首先,确保你的系统满足Solr的硬件和...
Solr服务器搭建是一个重要的步骤,它是Apache Lucene项目的一个企业级搜索平台,广泛应用于全文检索、数据索引和搜索解决方案。下面将详细讲解如何在Java 1.7和Tomcat 1.7环境下搭建Solr 4.10.3单机版。 一、Java...