- 浏览: 257782 次
- 性别:
- 来自: 苏州
文章分类
- 全部博客 (289)
- java (72)
- oracle (3)
- mysql (5)
- spring (28)
- hibernate (2)
- osgi (0)
- linux (2)
- ExtJs (1)
- jvm (0)
- mybatis (7)
- 分布式 (11)
- MINA (6)
- apache+tomcat (13)
- js+htm (7)
- android (44)
- http (1)
- hbase+hdoop (0)
- memcache (13)
- search (27)
- 部署及性能 (12)
- mongoDB (2)
- 多线程 (12)
- 安全管理验证 (9)
- struts (1)
- webservice (0)
- easyUI (1)
- spring security (16)
- pattern (6)
- 算法 (2)
最新评论
-
lzh8189146:
CommonsHttpSolrServer这个类,现在是不是没 ...
CommonsHttpSolrServer -
xiaochanzi:
我按照你的方法试了下,tomcat6可以发布,但是访问任何网页 ...
基于内嵌Tomcat的应用开发 -
phoneeye:
麻烦你,如果是抄来的文章,请给出来源。谢谢
ant 两则技巧 -
neverforget:
转载不注明出处
Spring Security3.1登陆验证 替换 usernamepasswordfilter -
liang1022:
若不使用eclipse ,如何在命令行下 运行服务端程序 ?
WebService CXF学习(入门篇2):HelloWorld
引用Bory.Chanhttp://blog.chenlb.com/2009/04/apply-solr-collapsing-patch-remove-duplicate-result.html
打上SOLR-236_collapsing.patch补丁,实现 solr 搜索结果折叠、除去重复的搜索结果,可以实现类似google搜索结果的“站内的其它相关信息 ”。solr collapsing patch 是用 hash 某个字段来实现折叠重复结果的。下面我演示下应用这个补丁并搜索试用下。
其实 solr 上已经有了这功能的实现:solr 1.3 collapse patch, 请看:https://issues.apache.org/jira/browse/SOLR-236,我这里下载是了新的:https://issues.apache.org/jira/secure/attachment/12403590/SOLR-236_collapsing.patch。
下载好后就需要打上补丁了,先准备一份源码在D:/apache-solr-1.3.0目录下。没有可以去下载:http://archive.apache.org/dist/lucene/solr/1.3.0/apache-solr-1.3.0.zip。把SOLR-236_collapsing.patch文件放在D:/apache-solr-1.3.0目录下, 打补丁有我知道的有两种:用linux工具 patch(windows 下有 cygwin);用 ant 的 patch。
windows cygwin 的 patch:
- D:\apache-solr-1.3.0>patch -p0 < SOLR-236_collapsing.patch
- patching file src/test/org/apache/solr/search/TestDocSet.java
- patching file src/java/org/apache/solr/search/CollapseFilter.java
- patching file src/java/org/apache/solr/search/DocSet.java
- patching file src/java/org/apache/solr/search/NegatedDocSet.java
- patching file src/java/org/apache/solr/search/SolrIndexSearcher.java
- patching file src/java/org/apache/solr/common/params/CollapseParams.java
- patching file src/java/org/apache/solr/handler/component/CollapseComponent.java
ant patch,把下面的内容保存为 patch-build.xml 放到 D:\apache-solr-1.3.0 目录下:
- <?xml version="1.0" encoding="UTF-8"?>
- <project name="solr-patch" default="apply-patch" basedir=".">
- <target name="apply-patch" description="Apply a patch file. Set -Dpatch.file">
- <patch patchfile="${patch.file}" strip="0"/>
- </target>
- </project>
ant 打补丁:
- D:\apache-solr-1.3.0>ant -Dpatch.file=SOLR-236_collapsing.patch -f patch-build.xml
- Buildfile: patch-build.xml
- apply-patch:
- [patch] patching file src/test/org/apache/solr/search/TestDocSet.java
- [patch] patching file src/java/org/apache/solr/search/CollapseFilter.java
- [patch] patching file src/java/org/apache/solr/search/DocSet.java
- [patch] patching file src/java/org/apache/solr/search/NegatedDocSet.java
- [patch] patching file src/java/org/apache/solr/search/SolrIndexSearcher.java
- [patch] patching file src/java/org/apache/solr/common/params/CollapseParams.java
- [patch] patching file src/java/org/apache/solr/handler/component/CollapseComponent.java
- BUILD SUCCESSFUL
- Total time: 0 seconds
源码打上了补丁,然后用 ant 构建源码:
D:\apache-solr-1.3.0>ant dist
在 D:/apache-solr-1.3.0/dist 目录下可以找到编译好的 solr 了。然后把 solr 放到 tomcat 中去运行它,把下面的内容保存在 TOMCAT_HOME/conf/Catalina/localhost/solr.xml 文件中:
- <Context docBase="D:\apache-solr-1.3.0\dist\apache-solr-1.3.0.war" reloadable="true" >
- <Environment name="solr/home" type="java.lang.String" value="D:\apache-solr-1.3.0\example\solr" override="true" />
- </Context>
修改 D:\apache-solr-1.3.0\example\solr\conf\solrconfig.xml 使 solr 可以支持 collapse。
定义搜索组件,在 QueryComponent 附近:
<searchComponent name="collapse" class="org.apache.solr.handler.component.CollapseComponent" />
定义一个 handler 使用上面的搜索组件:
- <requestHandler name="collapse" class="solr.SearchHandler">
- <!-- default values for query parameters -->
- <lst name="defaults">
- <str name="echoParams">explicit</str>
- </lst>
- <arr name="components">
- <str>collapse</str>
- <str>debug</str>
- </arr>
- </requestHandler>
安装启动 tomcat,现在提交一些数据给它,用官方的示例数据就可以了。运行:
- D:\apache-solr-1.3.0\example\exampledocs>java -Durl=http://localhost:8080/solr/update -Dcommit=yes -jar post.jar *.xml
- SimplePostTool: version 1.2
- SimplePostTool: WARNING: Make sure your XML documents are encoded in UTF-8, other encodings are not currently supported
- SimplePostTool: POSTing files to http://localhost:8080/solr/update..
- SimplePostTool: POSTing file hd.xml
- SimplePostTool: POSTing file ipod_other.xml
- SimplePostTool: POSTing file ipod_video.xml
- SimplePostTool: POSTing file mem.xml
- SimplePostTool: POSTing file monitor.xml
- SimplePostTool: POSTing file monitor2.xml
- SimplePostTool: POSTing file mp500.xml
- SimplePostTool: POSTing file sd500.xml
- SimplePostTool: POSTing file solr.xml
- SimplePostTool: POSTing file spellchecker.xml
- SimplePostTool: POSTing file utf8-example.xml
- SimplePostTool: POSTing file vidcard.xml
- SimplePostTool: COMMITting Solr index changes..
http://localhost:8080/solr/admin/stats.jsp 有结果了? 有了。然后开始查询试试看。
查询:http://localhost:8080/solr/select/?q=*%3A*&indent=on&qt=collapse&collapse=true&collapse.field=popularity&collapse.threshold=1
结果:
- <?xml version="1.0" encoding="UTF-8"?>
- <response>
- <lst name="responseHeader">
- <int name="status">0</int>
- <int name="QTime">0</int>
- <lst name="params">
- <str name="collapse.field">popularity</str>
- <str name="fl">id</str>
- <str name="collapse.threshold">1</str>
- <str name="indent">on</str>
- <str name="q">*:*</str>
- <str name="qt">collapse</str>
- <str name="collapse">true</str>
- </lst>
- </lst>
- <lst name="collapse_counts">
- <str name="field">popularity</str>
- <lst name="doc">
- <int name="SP2514N">4</int>
- <int name="F8V7067-APL-KIT">1</int>
- <int name="MA147LL/A">1</int>
- <int name="TWINX2048-3200PRO">1</int>
- <int name="VS1GB400C3">3</int>
- <int name="1">10</int>
- </lst>
- <lst name="count">
- <int name="6">4</int>
- <int name="1">1</int>
- <int name="10">1</int>
- <int name="5">1</int>
- <int name="7">3</int>
- <int name="0">10</int>
- </lst>
- <str name="debug">HashDocSet(6) Time(ms): 0/0/0/0</str>
- </lst>
- <result name="response" numFound="6" start="0">
- <doc>
- <str name="id">SP2514N</str>
- </doc>
- <doc>
- <str name="id">F8V7067-APL-KIT</str>
- </doc>
- <doc>
- <str name="id">MA147LL/A</str>
- </doc>
- <doc>
- <str name="id">TWINX2048-3200PRO</str>
- </doc>
- <doc>
- <str name="id">VS1GB400C3</str>
- </doc>
- <doc>
- <str name="id">1</str>
- </doc>
- </result>
- </response>
- 可以看到 collapse_counts 相关的输出:
- <lst name="collapse_counts">
- <str name="field">popularity</str>
- <lst name="doc">
- <int name="SP2514N">4</int>
- ...
- </lst>
- <lst name="count">
- <int name="6">4</int>
- <int name="1">1</int>
- <int name="10">1</int>
- <int name="5">1</int>
- <int name="7">3</int>
- <int name="0">10</int>
- </lst>
- <str name="debug">HashDocSet(6) Time(ms): 0/0/0/0</str>
- </lst>
上面的 count 下的内容(它的顺序是result/doc的顺序),表示 popularity=6 相同的结果还有 4 个,与 popularity=1 相同的结果还有 1 个,依此类推。这样就可以显示给用户的界面里提示“相同的其它内容不有N个”。
使用的参数有:
#启用 collapse 组件
collapse=true
#用那个字段来 hash 去除重量内容
collapse.field=popularity
#要结果中可以最多出现几个相同的文档
collapse.threshold=1
当然还有其它参数,请看:org.apache.solr.common.params.CollapseParams 类。
发表评论
-
提高nutch爬取效率
2012-06-08 12:47 942提高nutch爬取效率 分类 ... -
CommonsHttpSolrServer
2012-03-28 09:31 2081CommonsHttpSolrServer ... -
利用SOLR搭建企业搜索平台 之十(数据库数据导入到solr)
2012-03-28 09:31 743利用SOLR搭建企业搜索平台 之十(数据库数据导 ... -
利用SOLR搭建企业搜索平台 之九(solr的查询语法)
2012-03-28 09:31 835利用SOLR搭建企业搜索平台 之九(solr的查 ... -
利用SOLR搭建企业搜索平台 之五(solrj)
2012-03-27 14:59 858利用SOLR搭建企业搜索平台 之五(solrj) ... -
Solr solrconfig.xml的翻译
2012-03-13 08:23 895Solr solrconfig.xml的翻译 ... -
使用Apache Solr对数据库建立索引
2012-03-13 08:23 860使用Apache Solr对数据库建立索引 ( ... -
解决DataImportHandler从数据库导入大量数据而内存溢出的问题
2012-03-13 08:23 929解决DataImportHandler从数据库导入大 ... -
Solr 创建索引的原理 源码分析
2012-03-13 08:24 1160Solr 创建索引的原理 源码分析 (2011 ... -
Solr Replication (复制) 索引和文件的工作机制
2012-03-13 08:24 811Solr Replication (复制) 索引和文 ... -
Solr 查询中fq参数的解析原理
2012-03-14 08:13 820Solr 查询中fq参数的解析原理 (2011- ... -
Solr 分词器(analyzer)是怎么传到Luence的
2012-03-14 08:13 1090Solr 分词器(analyzer)是怎么传到Lue ... -
SOLR的分布式部署
2012-03-14 08:14 1030转载:http://blog.sina.com.cn/s/bl ... -
Solr 删除数据的几种方式
2012-02-22 08:40 1003转载:Solr 删除数据的几种方式 发表于:2010 ... -
Solr Data Import 快速入门
2012-02-26 12:12 829转载:Solr Data Import 快速入门 发 ... -
使用 solr php 的输出
2012-02-22 08:41 850转载:使用 solr php 的输出 发表于:200 ... -
Solr Multicore 结合 Solr Distributed Searching 切分大索引来搜索
2012-02-26 12:13 787Solr Multicore 结合 Solr Dist ... -
Solr Multicore 试用小记
2012-02-26 12:13 751Solr Multicore 试用小记 转载: ... -
Solr1.4.0源码分析二 Solr分布式搜索中URL的正确用法和原理
2012-02-26 12:13 983Solr1.4.0源码分析二 Solr分布式搜索 ... -
lucene应用
2012-02-19 13:24 709转载:http://sacredlove.itey ...
相关推荐
最新版linux kibana-8.11.1-linux-x86_64.tar.gz最新版linux kibana-8.11.1-linux-x86_64.tar.gz最新版linux kibana-8.11.1-linux-x86_64.tar.gz最新版linux kibana-8.11.1-linux-x86_64.tar.gz
solr-mongo-importer-1.1.0.jar solr-mongo-importer-1.1.0.jar solr-mongo-importer-1.1.0.jar
Apache Solr是一个流行的开源搜索引擎,它提供了全文搜索、命中高亮、拼写建议等功能,广泛应用于网站、企业内部系统和大数据分析。Tomcat是Apache软件基金会的Java Servlet容器,主要用于运行Java Web应用程序,...
Apache Solr 是一个开源的企业级搜索平台,由Apache软件基金会开发。它基于Java,并且是Lucene库的一个高级封装,提供了更加便捷和可扩展的全文检索、数据分析和搜索功能。在1.4.0版本中,Solr已经相当成熟,为用户...
solr更新到6.x的版本了,ik-analyzer-5.x.jar又不好使了。 无意间从"随-忆"的博客中看到了如何去修改源代码,从而让分词器能够适应6.x的版本,亲自尝试了一下,果然可以,于是奉上了自己重新编译的jar包。 6.x的版本...
本文将详细阐述如何利用SOLR搭建一个企业搜索平台,包括所需环境、配置步骤以及中文分词的设置。 一、SOLR搭建企业搜索平台 1. **运行环境** - **运行容器**:Tomcat 6.0.20 - **Solr版本**:apache-solr-1.4.0 ...
Apache Solr是一个流行的开源搜索引擎,它提供全文搜索、命中高亮、拼写建议等功能,广泛应用于网站内容管理和企业级信息检索。在Solr 5.x版本中,为了实现数据的定时更新,用户需要借助特定的扩展来实现定时生成...
总结这些信息,我们可以知道这是一个基于Maven构建的Java项目,它与Apache Solr搜索引擎交互,可能利用SolrJ库进行索引管理和查询操作。同时,项目中可能包含对Jade模板引擎的支持,用于生成动态网页内容。作为一个...
Apache Solr是一个开源的企业级搜索平台,用于构建高效、可扩展的全文检索应用。这个名为"apache-solr-3.5.0.jar"的压缩包包含两个关键组件:`apache-solr-core-3.5.0.jar`和`apache-solr-solrj-3.5.0.jar`,它们...
Apache Solr 是一个开源的全文搜索引擎,广泛应用于各种企业级数据搜索和分析场景。增量更新是Solr的一个关键特性,它允许系统仅处理自上次完整索引以来发生更改的数据,从而提高了性能并降低了资源消耗。"apache-...
对于Solr,它是一个强大的开源搜索引擎,广泛应用于企业级的信息检索系统。在Solr中,通过配置特定的分析器,我们可以实现对输入数据的预处理,包括分词。而mmseg4j-solr-2.4.0.jar是mmseg4j分词库的Solr插件版本,...
ik-analyzer分词器,支持solr5-5.x
标题中的"solr-8.6.3.tgz+...总的来说,这两个软件的结合使用可以帮助企业构建一个强大的数据检索和治理平台,实现对大规模数据集的快速、高效搜索,同时通过Apache Atlas实现数据的元数据管理、数据血缘和安全控制。
Solr是Apache软件基金会的一个开源项目,它是基于Java的全文搜索服务器,被广泛应用于企业级搜索引擎的构建。源码分析是深入理解一个软件系统工作原理的重要途径,对于Solr这样的复杂系统尤其如此。这里我们将围绕...
Solr是Apache Lucene项目的一个子项目,是一个高性能、基于Java的全文检索服务器。它提供了分布式搜索、近实时索引、高可用性以及多种数据处理功能。本DEMO主要聚焦于Solr的配置和SolrJ的使用,帮助开发者更好地理解...
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful ...根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr,也是基于Lucene。
Apache Solr是一款开源的企业级搜索平台,它基于Lucene库,提供全文索引、分布式搜索、近实时搜索等多种功能,常用于构建高效的搜索引擎。Solr7是其第七个主要版本,引入了许多新特性和性能优化。 IK Analyzer,...