- 浏览: 500157 次
- 性别:
- 来自: 广州
文章分类
最新评论
-
来这里学java:
...
实战篇:设计自己的Annotation -
yushui2000:
突然想到一种方法,就是1、2、2、3、4、5作为5个球(类似彩 ...
一道算法题目,值得一看 -
wst0350:
理解力
实战篇:设计自己的Annotation -
yingzhor:
楼下的,你看看代码不就知道怎么验证了吗?这不是放在sessio ...
利用servlet生成简单的验证码 -
ming_7755:
妙用Commons良药<三>
说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别.
其实这一些代码都是早几个月写的,自己很懒,所以到今天才写到自己的博客上,高深的文章自己写不了,只能记录下一些简单的记录与点滴,其中的代码算是自娱自乐的,希望高手不要把重构之类的砸下来...
1、在windows系统下的的C盘,建一个名叫s的文件夹,在该文件夹里面随便建三个txt文件,随便起名啦,就叫"1.txt","2.txt"和"3.txt"啦
其中1.txt的内容如下:
而"2.txt"和"3.txt"的内容也可以随便写几写,这里懒写,就复制一个和1.txt文件的内容一样吧
2、下载lucene包,放在classpath路径中
建立索引:
索引的结果:
3、建立了索引之后,查询啦....
其运行结果:
具体的API的用法,这里就不说了,具体的做法参考lucene的官方文档吧...
下一篇文章:
搜索篇:lucene的简单实例<二> http://www.iteye.com/post/190576
过一排可能会写一个,代码是在八九月份写的,是一个简单的demo;
当初在lucene和compass之间权衡选择,后来选择了compass.同组的一个伙伴就负责的;
我只是看了compass简单的一些东西,做了一个简单的eXtremeComponents+compass+SSH的demo,有空的时候再共享上来啦...
乐意帮忙啊,这一排有些忙,推后一些日子再写啰
还没有真正地在项目运用lucene
中文的切分词各家有各家的难题啊,不过这一方向研究的人慢慢地多啦,解决的方法会越来越优的
btw:讨论的人多了,很有意思啦,有一点念头想成立一个关于lucene,compass,stripes的圈子
看这一篇文章,里面有讲一些
http://hi.baidu.com/netpet/blog/item/4fb2d2c42a2ef7cb38db49b5.html
只是用过网上一些公开的分词包,java版的fenci,AutoSplit等几个分词,测试一下速度和其他一些数据,具体的实现没有研究过。二元分词法,lucene有提供,好像叫CJKAnalyzer..
中文分词的算法的实现工具,目前应该最好一个应该是C语言版ICTCLAS,中国科学院什么所研究的
说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别.
主要区别在什么地方啊,从你的代码看,方法好像是一样?
打一个例子吧,
这是lucene2.0的API
这是lucene1.4.3版的API
详细的改动看一些官方的文档就清楚啦
其实这一些代码都是早几个月写的,自己很懒,所以到今天才写到自己的博客上,高深的文章自己写不了,只能记录下一些简单的记录与点滴,其中的代码算是自娱自乐的,希望高手不要把重构之类的砸下来...
1、在windows系统下的的C盘,建一个名叫s的文件夹,在该文件夹里面随便建三个txt文件,随便起名啦,就叫"1.txt","2.txt"和"3.txt"啦
其中1.txt的内容如下:
中华人民共和国 全国人民 2006年
而"2.txt"和"3.txt"的内容也可以随便写几写,这里懒写,就复制一个和1.txt文件的内容一样吧
2、下载lucene包,放在classpath路径中
建立索引:
package lighter.iteye.com; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import java.util.Date; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.index.IndexWriter; /** * author lighter date 2006-8-7 */ public class TextFileIndexer { public static void main(String[] args) throws Exception { /* 指明要索引文件夹的位置,这里是C盘的S文件夹下 */ File fileDir = new File("c:\\s"); /* 这里放索引文件的位置 */ File indexDir = new File("c:\\index"); Analyzer luceneAnalyzer = new StandardAnalyzer(); IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer, true); File[] textFiles = fileDir.listFiles(); long startTime = new Date().getTime(); //增加document到索引去 for (int i = 0; i < textFiles.length; i++) { if (textFiles[i].isFile() && textFiles[i].getName().endsWith(".txt")) { System.out.println("File " + textFiles[i].getCanonicalPath() + "正在被索引...."); String temp = FileReaderAll(textFiles[i].getCanonicalPath(), "GBK"); System.out.println(temp); Document document = new Document(); Field FieldPath = new Field("path", textFiles[i].getPath(), Field.Store.YES, Field.Index.NO); Field FieldBody = new Field("body", temp, Field.Store.YES, Field.Index.TOKENIZED, Field.TermVector.WITH_POSITIONS_OFFSETS); document.add(FieldPath); document.add(FieldBody); indexWriter.addDocument(document); } } //optimize()方法是对索引进行优化 indexWriter.optimize(); indexWriter.close(); //测试一下索引的时间 long endTime = new Date().getTime(); System.out .println("这花费了" + (endTime - startTime) + " 毫秒来把文档增加到索引里面去!" + fileDir.getPath()); } public static String FileReaderAll(String FileName, String charset) throws IOException { BufferedReader reader = new BufferedReader(new InputStreamReader( new FileInputStream(FileName), charset)); String line = new String(); String temp = new String(); while ((line = reader.readLine()) != null) { temp += line; } reader.close(); return temp; } }
索引的结果:
File C:\s\1.txt正在被索引.... 中华人民共和国全国人民2006年 File C:\s\2.txt正在被索引.... 中华人民共和国全国人民2006年 File C:\s\3.txt正在被索引.... 中华人民共和国全国人民2006年 这花费了297 毫秒来把文档增加到索引里面去!c:\s
3、建立了索引之后,查询啦....
package lighter.iteye.com; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.queryParser.ParseException; import org.apache.lucene.queryParser.QueryParser; import org.apache.lucene.search.Hits; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; public class TestQuery { public static void main(String[] args) throws IOException, ParseException { Hits hits = null; String queryString = "中华"; Query query = null; IndexSearcher searcher = new IndexSearcher("c:\\index"); Analyzer analyzer = new StandardAnalyzer(); try { QueryParser qp = new QueryParser("body", analyzer); query = qp.parse(queryString); } catch (ParseException e) { } if (searcher != null) { hits = searcher.search(query); if (hits.length() > 0) { System.out.println("找到:" + hits.length() + " 个结果!"); } } } }
其运行结果:
引用
找到:3 个结果!
具体的API的用法,这里就不说了,具体的做法参考lucene的官方文档吧...
下一篇文章:
搜索篇:lucene的简单实例<二> http://www.iteye.com/post/190576
评论
27 楼
Tin
2006-12-26
好文,把lucene说的好简单,平易近人:D
26 楼
shaucle
2006-12-26
太好了
25 楼
lighter
2006-12-25
shaucle 写道
果真是简单实例...
精典入门篇,不知有兴趣写compass的没
精典入门篇,不知有兴趣写compass的没
过一排可能会写一个,代码是在八九月份写的,是一个简单的demo;
当初在lucene和compass之间权衡选择,后来选择了compass.同组的一个伙伴就负责的;
我只是看了compass简单的一些东西,做了一个简单的eXtremeComponents+compass+SSH的demo,有空的时候再共享上来啦...
24 楼
icekzl
2006-12-25
很荣幸...
自己刚刚上路,能发现如此量身的帖子..谢谢..
自己刚刚上路,能发现如此量身的帖子..谢谢..
23 楼
shaucle
2006-12-22
果真是简单实例...
精典入门篇,不知有兴趣写compass的没
一次性读流的话(不是边读边写),这里还有个方法,不知管用否:
精典入门篇,不知有兴趣写compass的没
一次性读流的话(不是边读边写),这里还有个方法,不知管用否:
private static byte[] readAsByte(InputStream in)throws IOException { byte[] content = new byte[(int) in.available()]; try { in.read(content, 0, content.length); } finally { closeSilently(in); } return content; }
public static String read(String fileName) throws IOException { return read(new FileInputStream(fileName)); } public static String read(InputStream in, String encoding) throws IOException { return new String(readAsByte(in), encoding); }
22 楼
lighter
2006-12-22
江南白衣 写道
lighter,方便的话,为springside wiki的lucene条目编写一些文档? :)
乐意帮忙啊,这一排有些忙,推后一些日子再写啰
21 楼
ouspec
2006-12-22
已经开了lucene专栏
http://www.iteye.com/subject/Lucene
期待更多精彩内容
http://www.iteye.com/subject/Lucene
期待更多精彩内容
20 楼
江南白衣
2006-12-22
.......
19 楼
lighter
2006-12-21
windyboy 写道
我前端时间也在做lucene方面的事情,主要是帮论坛做搜索
关于中文切分词也研究过一下,之前网上流传的那个海量的词库,如果在java中用的话,也是可以的,但是发现对于某些特殊字符会抛出异常,究竟是dll的问题,还是JNI的问题也就没有深究。
后来的解决方法是找了一个词典文件,做了一个树状结构,效率还是相当的高的。
后来遇到的主要问题在于对于大量的数据,如果使用磁盘的索引形式会大大影响索引效率,后来用了折中的办法,让近期的帖子放在内存中,时间长的放在磁盘上。虽然说解决了一部分问题,但觉得还是不理想,不知道大家在使用过程中是否也遇到了同样的问题?如何解决的?
关于中文切分词也研究过一下,之前网上流传的那个海量的词库,如果在java中用的话,也是可以的,但是发现对于某些特殊字符会抛出异常,究竟是dll的问题,还是JNI的问题也就没有深究。
后来的解决方法是找了一个词典文件,做了一个树状结构,效率还是相当的高的。
后来遇到的主要问题在于对于大量的数据,如果使用磁盘的索引形式会大大影响索引效率,后来用了折中的办法,让近期的帖子放在内存中,时间长的放在磁盘上。虽然说解决了一部分问题,但觉得还是不理想,不知道大家在使用过程中是否也遇到了同样的问题?如何解决的?
还没有真正地在项目运用lucene
中文的切分词各家有各家的难题啊,不过这一方向研究的人慢慢地多啦,解决的方法会越来越优的
btw:讨论的人多了,很有意思啦,有一点念头想成立一个关于lucene,compass,stripes的圈子
18 楼
balaschen
2006-12-21
中文分词,如果不追求索引文件大小的话,一个汉字一个汉字的切分就可以了,对于词组的查询,可以转换成对短语的查询,比如查询 中国,可转成“中国”,采用一个字一个字切分,最大的好处就是简单,查全率高,坏处就是查准率稍微低点,比如上面的例子会把“发展中国家”也查出来,使用特定的分词算法,要牺牲点效率,带来的好处就是索引文件小,查准率高,但由于中文分词不可能100%准确,总存在歧义,查全率差点。个人认为非internet的应用,数据量非天量的情况,用一个汉字一个汉字切分的方法,足以应付绝大多数应用。我们一个法律法规查询的系统,就采用这种方式,用了快两年,客户从没抱怨过什么问题。
17 楼
galaxystar
2006-12-21
好像跟ajax and lucene书上差不多!不错很经典的说!
16 楼
lighter
2006-12-21
limx 写道
Field 这个类 2.0做了修改?
请楼主讲讲2.0相对以前都有哪些改进
请楼主讲讲2.0相对以前都有哪些改进
看这一篇文章,里面有讲一些
http://hi.baidu.com/netpet/blog/item/4fb2d2c42a2ef7cb38db49b5.html
15 楼
znjq
2006-12-21
中文主要看分词库和对应的算法,lucene自带的中文Analyzer是简单二元分词法,效果并不好
14 楼
toyota2006
2006-12-21
成啊!
13 楼
limx
2006-12-21
Field 这个类 2.0做了修改?
请楼主讲讲2.0相对以前都有哪些改进
请楼主讲讲2.0相对以前都有哪些改进
12 楼
lighter
2006-12-21
Lucas Lee 写道
那如果没有一个可用的中文分词算法,那lucene目前对我们搞中文应用的,没有直接的意义咯?
我倒是看到lucene2.0里有对中文专门处理的一个包,尚没深入研究。
另外,我看到一些资料说,简单二元分词法,虽然粗糙,但是简单可用,不依赖于词典,例如:中国人民,会分词为"中国","国人","人民"。
我倒是看到lucene2.0里有对中文专门处理的一个包,尚没深入研究。
另外,我看到一些资料说,简单二元分词法,虽然粗糙,但是简单可用,不依赖于词典,例如:中国人民,会分词为"中国","国人","人民"。
只是用过网上一些公开的分词包,java版的fenci,AutoSplit等几个分词,测试一下速度和其他一些数据,具体的实现没有研究过。二元分词法,lucene有提供,好像叫CJKAnalyzer..
11 楼
LucasLee
2006-12-21
那如果没有一个可用的中文分词算法,那lucene目前对我们搞中文应用的,没有直接的意义咯?
我倒是看到lucene2.0里有对中文专门处理的一个包,尚没深入研究。
另外,我看到一些资料说,简单二元分词法,虽然粗糙,但是简单可用,不依赖于词典,例如:中国人民,会分词为"中国","国人","人民"。
我倒是看到lucene2.0里有对中文专门处理的一个包,尚没深入研究。
另外,我看到一些资料说,简单二元分词法,虽然粗糙,但是简单可用,不依赖于词典,例如:中国人民,会分词为"中国","国人","人民"。
10 楼
lighter
2006-12-21
Lucas Lee 写道
还不错啦。
不过代码的示例作用有限,大概只能运行起来而已。是不是能处理中文的检索,我特别关心中文分词的算法。
不过代码的示例作用有限,大概只能运行起来而已。是不是能处理中文的检索,我特别关心中文分词的算法。
中文分词的算法的实现工具,目前应该最好一个应该是C语言版ICTCLAS,中国科学院什么所研究的
9 楼
LucasLee
2006-12-21
还不错啦。
不过代码的示例作用有限,大概只能运行起来而已。是不是能处理中文的检索,我特别关心中文分词的算法。
不过代码的示例作用有限,大概只能运行起来而已。是不是能处理中文的检索,我特别关心中文分词的算法。
8 楼
lighter
2006-12-21
balaschen 写道
引用
说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别.
主要区别在什么地方啊,从你的代码看,方法好像是一样?
打一个例子吧,
这是lucene2.0的API
QueryParser qp = new QueryParser("body", analyzer); query = qp.parse(queryString);
这是lucene1.4.3版的API
query = QueryParser.parse(key,queryString,new new StandardAnalyzer());
详细的改动看一些官方的文档就清楚啦
发表评论
-
TestNG系列2:TestNG初接触
2008-04-18 22:52 3549首先来看一个非常简单 ... -
TestNG系列1:TestNG简介及插件
2008-04-18 22:19 6375一、什么是TestNG 引用TestNG是根据JUnit 和 ... -
用jdbcTempate调用存储过程,处理BLOB/CLOB小记
2007-11-06 00:20 90971、利用spring的jdbcTemplate调用存储过程 假 ... -
怎样利用spring简单地发送邮件
2007-11-03 16:45 3827SMTP:简单邮件传输协议,用于发送电子邮件的传输协议. PO ... -
搜索篇:Struts、Lucene的Web实例
2007-01-15 23:10 7964代码是网上下载的,有兴趣的可以看一下 这里用到的Lucene是 ... -
复习笔记:利用spring的BeanName简化事务管理配置
2006-12-30 00:27 6194常常在项目开发时候,很多目标bean需要生成事务代理,当然可以 ... -
Stripes 快速入门指南[翻译]
2006-12-27 18:56 10482说明:这是Stripes文档中的一篇叫Quick Start ... -
搜索篇:lucene简单实例<二>
2006-12-20 23:09 10734写文章的时候,感觉比较难写的就是标题,有时候不知道起什么名字好 ... -
搜索篇:lucene简单实例<二>
2006-12-20 23:00 123写文章的时候,感觉比较难写的就是标题,有时候不知道起什么名字好 ... -
一个比较完整的ANT实例
2006-12-19 19:41 8385Ant是一种专为java量身订做的构建工具,基础已经了java ... -
对struts2的的一些不满
2006-11-12 01:06 3000个人对struts2的一些不满的地方 1、基本大部分全抄web ... -
从webwork2.2.4迁移到struts2
2006-11-12 00:47 2608注:(originally posted on the Web ... -
webwork2.2到struts2的变化
2006-11-12 00:44 2213While Struts 2 started with the ... -
反思spring:由Ruby on Rails想到的
2006-10-23 09:33 3279[size=11] 众所周知,RoR里面的指导原则有: 第 ... -
关于jboss,weblogic的配置
2006-05-26 22:28 3480###################以下是jboss的配置# ... -
[转载] 无所不能的“蚂蚁”--Ant
2006-06-05 23:27 3856说他无所不能,好像有点夸张,但是用过Ant之后,感觉真的是只有 ... -
Hibernate, Java 5 and DAO[转]
2006-08-04 17:54 2497... -
研究一下springside的核心部分源代码
2006-09-15 19:47 7042这两天,有一些时间,研究一下springside的源代码,结 ...
相关推荐
在本主题“搜索篇:Struts、Lucene的Web实例”中,我们将深入探讨两种重要的技术在Web开发中的应用:Apache Struts和Apache Lucene。Struts是一种经典的MVC(模型-视图-控制器)框架,用于构建Java Web应用程序,而...
本篇文章将详细探讨Lucene的实例应用,以及如何通过实例来理解和掌握这一技术。 一、Lucene的基本概念 1. 文档(Document):在Lucene中,文档是信息的基本单位,可以理解为数据库中的一条记录,包含多个字段...
通过实例,我们可以创建一个简单的索引器,将文本文件或数据库内容导入Lucene索引,然后编写一个搜索引擎来查询这些内容。这通常涉及以下步骤: - 创建索引:定义Document结构,使用Analyzer处理Field,通过...
本篇文章主要面向初学者,通过实例详细解释如何使用Lucene进行文档搜索。 首先,我们需要了解的是`Query`类。这是一个抽象类,它是所有查询的基础。根据不同的查询需求,`Query`有多个子类,如`TermQuery`、`...
标题 "第一个lucene的简单实例" 提到的是关于Apache Lucene的初步应用,这是一个全文搜索引擎库,常用于Java开发中。Lucene提供了高效的文本搜索功能,使得开发者能够快速地在大量数据中查找相关信息。 描述中的 ...
Compass是一个基于Apache Lucene的全文搜索引擎库,它提供了一种简单的方式来连接到应用程序的数据源,并将其索引到Lucene中。Compass的主要优势在于它能够透明地集成到现有应用中,使得开发者无需对原有代码进行大...
它提供了一个简单的 API,使得开发者能够快速地在他们的应用程序中实现强大的搜索功能。本篇将深入探讨 Lucene 的核心概念、基本应用以及如何在实践中运用。 一、Lucene 概述 Lucene 是一个开源的Java库,主要用于...
本篇文章将深入探讨如何利用Apache Lucene这个强大的全文搜索引擎库,结合Highlighter组件实现搜索结果的高亮显示。 Apache Lucene是一个高性能、可扩展的开源全文检索库,它提供了完整的索引和搜索功能,使得...
### Apache Solr搜索架构分析——外部设计篇 #### 一、引言 随着互联网技术的飞速发展,数据量呈爆炸性增长,高效且准确地检索海量数据成为了现代信息技术领域的一项重要挑战。Apache Solr作为一款开源的企业级...
在提供的案例中,你可以找到一个简单的Lucene应用实例。这个案例可能包含了以下部分: 1. **索引创建**: 包含读取数据源(如文件或数据库),创建Analyzer,将数据转换为Lucene的Document对象,并通过IndexWriter...
本篇将围绕“Lucene+Nutch搜索引擎开发”这一主题,深入探讨王学松源代码,帮助读者理解并掌握这两项技术的核心概念和应用。 首先,Lucene是一个高性能、全文检索库,它提供了一个简单的API,使得开发者能够方便地...
Lucene,作为Apache软件基金会的一个开源项目,是Java平台上的全文检索库,它提供了文本检索的核心工具,使得开发者能够快速地在应用程序中实现高级的搜索功能。本篇文章将详细阐述如何使用Lucene来创建和查询索引,...
这个“lucene简单demo”将向我们展示如何使用Lucene进行基本的文本检索操作。 **Lucene核心概念** 1. **索引(Indexing)**: 在Lucene中,索引是将文档内容转换为可供快速搜索的数据结构的过程。它将文本分解成...
接下来,我们来看看如何创建一个简单的LuceneDemo: 1. **引入依赖**:首先,你需要在项目中引入Lucene的依赖库。对于Java项目,可以通过Maven或Gradle添加相应的依赖项。 2. **创建索引**:创建一个`Directory`...
本篇将通过一个简单的入门例子,带你了解如何使用Lucene进行搜索。 首先,我们要知道Lucene的核心组件包括文档(Document)、字段(Field)、索引(Index)和查询(Query)。在Lucene中,信息是以文档的形式存储,...
本篇文章将深入探讨如何在B/S(浏览器/服务器)架构下利用Lucene实现一个简单的搜索引擎实例。 首先,我们需要了解Lucene的核心概念。Lucene提供了一套完整的文本检索框架,包括索引构建、查询解析、评分以及结果...
这个“LuceneTest”项目就是一个基础的Lucene应用实例,它展示了如何在Eclipse环境中搭建、运行和调试Lucene搜索功能。通过这个例子,你可以更好地理解Lucene的工作原理,为后续更复杂的搜索应用打下基础。
本篇文章将围绕 Lucene 3.0 版本,详细介绍其入门知识,并通过提供的文档列表,帮助你深入了解并实现简单的搜索功能。 1. **Lucene 3.0 的基础概念** - **索引**:Lucene 的核心是索引,它是一种预处理步骤,将...
以上是对“Lucene简单例子”中涉及的关键知识点的详细解释,这个例子应该包含创建索引、执行搜索以及可能的更新和删除操作的示例代码,帮助新手快速上手Lucene。在实际项目中,还可以结合其他技术,如Solr或Elastic...
Solr是Apache Lucene项目的一个子项目,是一个高性能、基于Java的企业级搜索服务器。它提供了全文检索、Hit高亮、拼写检查、动态集群、分布式搜索等特性,广泛应用于各类数据检索场景。在本篇文章中,我们将深入探讨...