- 浏览: 957208 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (385)
- 搜索引擎学习 (62)
- 算法 (1)
- 数据库 (15)
- web开发 (38)
- solr开发 (17)
- nutch 1.2 系统学习 (8)
- cms (1)
- 系统架构 (11)
- linux 与 unix 编程 (16)
- android (15)
- maven (1)
- 关注物流 (1)
- 网址收集 (1)
- 分布式,集群 (1)
- mysql (5)
- apache (1)
- 资料文档备份 (7)
- 上班有感 (0)
- 工作流 (15)
- javascript (1)
- weblogic (1)
- eclipse 集成 (1)
- JMS (7)
- Hibernate (1)
- 性能测试 (1)
- spring (6)
- 缓存cache (1)
- mongodb (2)
- webservice (1)
- HTML5 COCOS2D-HTML5 (1)
- BrowserQuest (2)
最新评论
-
avi9111:
内陷到android, ios, winphone里面也是随便 ...
【HTML5游戏开发】二次开发 BrowserQuest 第一集 -
avi9111:
呵呵,做不下去了吧,没有第二集了吧,游戏是个深坑,谨慎进入,其 ...
【HTML5游戏开发】二次开发 BrowserQuest 第一集 -
excaliburace:
方案3亲测完全可用,顺便解决了我其他方面的一些疑问,非常感谢
spring security 2添加用户验证码 -
yuanliangding:
Spring太强大了。
Spring Data JPA 简单介绍 -
小高你好:
什么是hibernate懒加载?什么时候用懒加载?为什么要用懒加载?
Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟?那么建议先看看下面两篇文档:
实战Lucene,第 1 部分: 初识 Lucene:http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/
用Lucene加速Web搜索应用程序的开发:http://www.ibm.com/developerworks/cn/web/wa-lucene2/
一、 solr介绍
solr是基于Lucene Java搜索库的企业级全文搜索引擎,目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ 。solr需要运行在一个servlet 容器里,例如tomcat5.5。solr在lucene的上层提供了一个基于HTTP/XML的Web Services,我们的应用需要通过这个服务与solr进行交互。
二、 solr安装和配置
关于solr的安装和配置,这里也有两篇非常好的文档,作者同时也是 Lucene Java 项目的提交人和发言人:
使用Apache Solr实现更加灵巧的搜索:http://www.ibm.com/developerworks/cn/java/j-solr1/index.html
http://www.ibm.com/developerworks/cn/java/j-solr2/index.html
下面主要说说需要注意的地方。
Solr的安装非常简单,下载solr的zip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5的webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录(example目录下),建立/tomcat55/conf/Catalina/localhost/solr.xml文件。
<Environment name="solr/home" type="java.lang.String" value="D:/solr/solr" override="true" />
</Context>
观察这个指定的solr主位置,里面存在两个文件夹:conf和data。其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml。data则用于存放索引文件。
schema.xml主要包括types、fields和其他的一些缺省设置。
solrconfig.xml用来配置Solr的一些系统属性,例如与索引和查询处理有关的一些常见的配置选项,以及缓存、扩展等等。
上面的文档对这两个文件有比较详细的说明,非常容易上手。注意到schema.xml里有一个
的配置,这里将url字段作为索引文档的唯一标识符,非常重要。
三、 加入中文分词
对全文检索而言,中文分词非常的重要,这里采用了qieqie庖丁分词(非常不错:))。集成非常的容易,我下载的是2.0.4-alpha2版本,其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory。
* Created by IntelliJ IDEA.
* User: ronghao
* Date: 2007-11-3
* Time: 14:40:59
* 中文切词 对庖丁切词的封装
*/
public class ChineseTokenizerFactory extends BaseTokenizerFactory {
/**
* 最多切分 默认模式
*/
public static final String MOST_WORDS_MODE = "most-words";
/**
* 按最大切分
*/
public static final String MAX_WORD_LENGTH_MODE = "max-word-length";
private String mode = null;
public void setMode(String mode) {
if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)
|| "default".equalsIgnoreCase(mode)) {
this.mode=MOST_WORDS_MODE;
} else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {
this.mode=MAX_WORD_LENGTH_MODE;
}
else {
throw new IllegalArgumentException("不合法的分析器Mode参数设置:" + mode);
}
}
@Override
public void init(Map<String, String> args) {
super.init(args);
setMode(args.get("mode"));
}
public TokenStream create(Reader input) {
return new PaodingTokenizer(input, PaodingMaker.make(),
createTokenCollector());
}
private TokenCollector createTokenCollector() {
if( MOST_WORDS_MODE.equals(mode))
return new MostWordsTokenCollector();
if( MAX_WORD_LENGTH_MODE.equals(mode))
return new MaxWordLengthTokenCollector();
throw new Error("never happened");
}
}
在schema.xml的字段text配置里加入该分词器。
<analyzer type="index">
<tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
<filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"/>
<filter class="solr.LowerCaseFilterFactory"/>
<filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>
<filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
<filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0"/>
<filter class="solr.LowerCaseFilterFactory"/>
<filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
</analyzer>
</fieldtype>
</types>
完成后重启tomcat,即可在http://localhost:8080/solr/admin/analysis.jsp
体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下,注意修改jar包里字典的home。
四、 与自己应用进行集成
Solr安装完毕,现在可以将自己的应用与solr集成。其实过程非常的简单,应用增加数据-->根据配置的字段构建add的xml文档-->post至solr/update。
应用删除数据à根据配置的索引文档唯一标识符构建delete的xml文档-->post至solr/update。
检索数据à构建查询xml—>get至/solr/select/-->对solr返回的xml进行处理-->页面展现。
具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示,非常方便。
关于中文,solr内核支持UTF-8编码,所以在tomcat里的server.xml需要进行配置
另外,向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码,然后用“+”连接。
for (String str : array) {
result = result + URLEncoder.encode(str, "UTF-8") + "+";
}
更多好东西:http://www.lsoba.com
发表评论
-
IK的整个分词处理过程【转】
2013-01-08 12:48 1125首先,介绍一下IK的整个分词处理过程: 1. Lucene的 ... -
solr 4 分词报错 This Functionality requires the /analysis/field Handler to be regist
2013-01-08 11:43 2134This Functionality requires the ... -
solr multivalued 说明
2013-01-08 09:15 4845solr的schema.xml配置文件在配置field的时候有 ... -
solr 处理数据库数据索引 DataImportHandler 报内存不足,解决方案
2010-06-27 10:31 3096通过数据库,批量建立索引,如果数据量大,则会报内 ... -
solr 范围查询
2010-06-27 01:50 6599solr的范围查询 TO //s ... -
solr 通过 数据库导入 建立索引
2010-06-26 22:47 2369今天写错一个单词,忙会了,一下午,因为本人也是刚接触,所以对一 ... -
solrj 的使用总结
2010-06-26 22:45 27791、solrserver的获取 1.1CommonsHttp ... -
通过dataimport 建立solr索引
2010-06-26 14:01 5723今天写错一个单词,忙会了,一下午,因为本人也是刚接触,所以对一 ... -
SOLR 中 Schema.xml 的filedType 的一些属性的理解 [转]备注起来
2010-06-24 23:17 2652from matching across instances. ... -
solr 处理数据库数据索引 DataImportHandler 的使用[转]
2010-06-24 21:10 19931、编辑 solrconfig.xml 注册一个请求 uri ... -
solr morelikethis功能
2010-05-06 15:37 3165在 Google 上尝试一个查询,您会注意到每一个结果都包含 ... -
利用SOLR搭建企业搜索平台 之四(MultiCore)[转]
2010-04-22 21:54 1837利用SOLR搭建企业搜索平 ... -
利用SOLR搭建企业搜索平台 之三(配置文件)
2010-04-22 21:51 1406关键字: solr lucene 搭建 ... -
利用SOLR搭建企业搜索平台 之二(中文分词)[转]
2010-04-22 21:51 1876关键字: solr lucene 搭建 中文分词 http:/ ... -
利用SOLR搭建企业搜索平台 之一(运行solr)[转]
2010-04-22 21:49 1822在网络上找了很多的关 ... -
Solr的检索运算符[转]
2010-04-22 20:39 1615[Solr的检索运算符]? “:” 指定字段查指定值,如返回所 ...
相关推荐
标题中的“利用Solr搭建你的搜索引擎”意味着我们将探讨Apache Solr这一开源全文搜索平台的搭建过程。Solr是基于Lucene库的,提供了一个高效、可扩展的搜索和导航功能,广泛应用于各种企业的数据检索需求。 Solr的...
Solr全文检索环境搭建 Apache Solr是一款基于Java的开源搜索服务器,专为高效全文检索、拼写检查、高亮显示结果以及复杂查询语法等功能设计。它被广泛应用于各种规模的网站和企业应用中,提供了丰富的搜索功能。...
本教程将详细阐述如何通过Solr结合IK分词器,在Tomcat服务器上搭建一个功能完备的全文检索系统。 首先,我们需要了解Solr。Solr是Apache Lucene项目下的一个开源搜索服务器,它提供了高性能、可扩展的全文检索、...
Solr全文检索是一种高效、可扩展的开源搜索和分析引擎,由Apache软件基金会开发。它允许用户快速地对大量文本数据进行全文搜索、拼写检查、高亮显示搜索结果等功能。在本压缩包中,包含了关于Solr环境搭建、配置详解...
标题“lucene简单介绍及solr搭建使用”涉及了两个主要的开源搜索技术:Lucene和Solr。Lucene是Java开发的一个全文检索库,而Solr则是基于Lucene构建的企业级搜索平台,提供了更高级的功能和管理界面。 **Lucene简介...
Solr,全称为Apache Solr,是一款开源的企业级全文...通过理解并实践上述步骤,你可以成功搭建并使用Solr,实现高效的数据检索和管理。在实际应用中,还需要根据业务需求调整和优化Solr的配置,以达到最佳的搜索效果。
### 使用Lucene Solr搭建Oracle数据库全文搜索服务 #### 一、基础知识介绍 - **Lucene**: 是一个高性能、全功能的全文检索引擎库。它为开发者提供了构建搜索应用程序所需的工具,但不提供完整的搜索应用。 - **...
本教程将详细讲解如何搭建Solr,并涵盖拼音检索、三种主流分词器(smartcn、IK、mmseg4j)的配置以及停词器和扩展词库的使用。 首先,我们需要下载并安装Solr。通常,Solr的官方下载页面会提供最新版本的Solr压缩包...
**SOLR搭建企业搜索平台** Apache Solr是一款强大的开源企业级全文搜索引擎,它基于Java且构建于Apache Lucene之上。Solr提供了高效、可扩展的搜索和导航功能,广泛应用于各种规模的企业环境中,用于处理大量数据的...
在本项目中,我们主要探讨的是如何将SpringBoot与Apache Solr进行集成,实现全文检索功能。Apache Solr是一款开源的搜索服务器,它提供了高效、可扩展的全文检索、Hit高亮、 faceted search(分类浏览)以及相关性...
Solr服务器搭建是一个重要的步骤,它是Apache Lucene项目的一个企业级搜索平台,广泛应用于全文检索、数据索引和搜索解决方案。下面将详细讲解如何在Java 1.7和Tomcat 1.7环境下搭建Solr 4.10.3单机版。 一、Java...
Solr是Apache Lucene项目下的一个企业级搜索服务器,它提供了全文检索、高亮显示、 faceted search(分面搜索)以及实时分析等功能。本文将详细介绍如何搭建Solr环境,并解析其配置文件,同时也会涉及SolrJ客户端的...
最后,IK分词器是针对中文的全文检索分析器,适用于Solr和Lucene。资源包中的IK Analyzer 2012FF_hf1是IK分词器的一个版本,它提供了对中文词语的智能分词。在使用IK分词器之前,需要将其解压并将jar文件添加到Solr...