`
lighter
  • 浏览: 500157 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

搜索篇:lucene的简单实例<一>

阅读更多
说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别.
其实这一些代码都是早几个月写的,自己很懒,所以到今天才写到自己的博客上,高深的文章自己写不了,只能记录下一些简单的记录与点滴,其中的代码算是自娱自乐的,希望高手不要把重构之类的砸下来...

1、在windows系统下的的C盘,建一个名叫s的文件夹,在该文件夹里面随便建三个txt文件,随便起名啦,就叫"1.txt","2.txt"和"3.txt"啦
其中1.txt的内容如下:
中华人民共和国
全国人民
2006年

而"2.txt"和"3.txt"的内容也可以随便写几写,这里懒写,就复制一个和1.txt文件的内容一样吧

2、下载lucene包,放在classpath路径中
建立索引:
package lighter.iteye.com;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Date;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexWriter;

/**
 * author lighter date 2006-8-7
 */
public class TextFileIndexer {
	public static void main(String[] args) throws Exception {
		/* 指明要索引文件夹的位置,这里是C盘的S文件夹下 */
		File fileDir = new File("c:\\s");

		/* 这里放索引文件的位置 */
		File indexDir = new File("c:\\index");
		Analyzer luceneAnalyzer = new StandardAnalyzer();
		IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,
				true);
		File[] textFiles = fileDir.listFiles();
		long startTime = new Date().getTime();
		
		//增加document到索引去
		for (int i = 0; i < textFiles.length; i++) {
			if (textFiles[i].isFile()
					&& textFiles[i].getName().endsWith(".txt")) {
				System.out.println("File " + textFiles[i].getCanonicalPath()
						+ "正在被索引....");
				String temp = FileReaderAll(textFiles[i].getCanonicalPath(),
						"GBK");
				System.out.println(temp);
				Document document = new Document();
				Field FieldPath = new Field("path", textFiles[i].getPath(),
						Field.Store.YES, Field.Index.NO);
				Field FieldBody = new Field("body", temp, Field.Store.YES,
						Field.Index.TOKENIZED,
						Field.TermVector.WITH_POSITIONS_OFFSETS);
				document.add(FieldPath);
				document.add(FieldBody);
				indexWriter.addDocument(document);
			}
		}
		//optimize()方法是对索引进行优化
		indexWriter.optimize();
		indexWriter.close();
		
		//测试一下索引的时间
		long endTime = new Date().getTime();
		System.out
				.println("这花费了"
						+ (endTime - startTime)
						+ " 毫秒来把文档增加到索引里面去!"
						+ fileDir.getPath());
	}

	public static String FileReaderAll(String FileName, String charset)
			throws IOException {
		BufferedReader reader = new BufferedReader(new InputStreamReader(
				new FileInputStream(FileName), charset));
		String line = new String();
		String temp = new String();
		
		while ((line = reader.readLine()) != null) {
			temp += line;
		}
		reader.close();
		return temp;
	}
}


索引的结果:
File C:\s\1.txt正在被索引....
中华人民共和国全国人民2006年
File C:\s\2.txt正在被索引....
中华人民共和国全国人民2006年
File C:\s\3.txt正在被索引....
中华人民共和国全国人民2006年
这花费了297 毫秒来把文档增加到索引里面去!c:\s


3、建立了索引之后,查询啦....
package lighter.iteye.com;

import java.io.IOException;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.queryParser.ParseException;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;

public class TestQuery {
	public static void main(String[] args) throws IOException, ParseException {
		Hits hits = null;
		String queryString = "中华";
		Query query = null;
		IndexSearcher searcher = new IndexSearcher("c:\\index");

		Analyzer analyzer = new StandardAnalyzer();
		try {
			QueryParser qp = new QueryParser("body", analyzer);
			query = qp.parse(queryString);
		} catch (ParseException e) {
		}
		if (searcher != null) {
			hits = searcher.search(query);
			if (hits.length() > 0) {
				System.out.println("找到:" + hits.length() + " 个结果!");
			}
		}
	}

}


其运行结果:
引用
找到:3 个结果!

具体的API的用法,这里就不说了,具体的做法参考lucene的官方文档吧...
下一篇文章:
搜索篇:lucene的简单实例<二> http://www.iteye.com/post/190576
分享到:
评论
27 楼 Tin 2006-12-26  
好文,把lucene说的好简单,平易近人:D
26 楼 shaucle 2006-12-26  
太好了
25 楼 lighter 2006-12-25  
shaucle 写道
果真是简单实例...
精典入门篇,不知有兴趣写compass的没

过一排可能会写一个,代码是在八九月份写的,是一个简单的demo;
当初在lucene和compass之间权衡选择,后来选择了compass.同组的一个伙伴就负责的;
我只是看了compass简单的一些东西,做了一个简单的eXtremeComponents+compass+SSH的demo,有空的时候再共享上来啦...
24 楼 icekzl 2006-12-25  
很荣幸...
  自己刚刚上路,能发现如此量身的帖子..谢谢..
23 楼 shaucle 2006-12-22  
果真是简单实例...
精典入门篇,不知有兴趣写compass的没

一次性读流的话(不是边读边写),这里还有个方法,不知管用否:
	private static byte[] readAsByte(InputStream in)throws IOException {
	    byte[] content = new byte[(int) in.available()];
	    try {
			in.read(content, 0, content.length);
		} finally {
			closeSilently(in);
		}
		return content;
	}

	public static String read(String fileName) throws IOException {
	    return read(new FileInputStream(fileName));
	}
	public static String read(InputStream in, String encoding) throws IOException {
		return new String(readAsByte(in), encoding);
	}
22 楼 lighter 2006-12-22  
江南白衣 写道
lighter,方便的话,为springside wiki的lucene条目编写一些文档? :)

乐意帮忙啊,这一排有些忙,推后一些日子再写啰
21 楼 ouspec 2006-12-22  
已经开了lucene专栏

http://www.iteye.com/subject/Lucene

期待更多精彩内容
20 楼 江南白衣 2006-12-22  
.......
19 楼 lighter 2006-12-21  
windyboy 写道
我前端时间也在做lucene方面的事情,主要是帮论坛做搜索
关于中文切分词也研究过一下,之前网上流传的那个海量的词库,如果在java中用的话,也是可以的,但是发现对于某些特殊字符会抛出异常,究竟是dll的问题,还是JNI的问题也就没有深究。
后来的解决方法是找了一个词典文件,做了一个树状结构,效率还是相当的高的。
后来遇到的主要问题在于对于大量的数据,如果使用磁盘的索引形式会大大影响索引效率,后来用了折中的办法,让近期的帖子放在内存中,时间长的放在磁盘上。虽然说解决了一部分问题,但觉得还是不理想,不知道大家在使用过程中是否也遇到了同样的问题?如何解决的?

还没有真正地在项目运用lucene
中文的切分词各家有各家的难题啊,不过这一方向研究的人慢慢地多啦,解决的方法会越来越优的
btw:讨论的人多了,很有意思啦,有一点念头想成立一个关于lucene,compass,stripes的圈子
18 楼 balaschen 2006-12-21  
中文分词,如果不追求索引文件大小的话,一个汉字一个汉字的切分就可以了,对于词组的查询,可以转换成对短语的查询,比如查询 中国,可转成“中国”,采用一个字一个字切分,最大的好处就是简单,查全率高,坏处就是查准率稍微低点,比如上面的例子会把“发展中国家”也查出来,使用特定的分词算法,要牺牲点效率,带来的好处就是索引文件小,查准率高,但由于中文分词不可能100%准确,总存在歧义,查全率差点。个人认为非internet的应用,数据量非天量的情况,用一个汉字一个汉字切分的方法,足以应付绝大多数应用。我们一个法律法规查询的系统,就采用这种方式,用了快两年,客户从没抱怨过什么问题。
17 楼 galaxystar 2006-12-21  
好像跟ajax and lucene书上差不多!不错很经典的说!
16 楼 lighter 2006-12-21  
limx 写道
Field 这个类  2.0做了修改?
请楼主讲讲2.0相对以前都有哪些改进

看这一篇文章,里面有讲一些
http://hi.baidu.com/netpet/blog/item/4fb2d2c42a2ef7cb38db49b5.html
15 楼 znjq 2006-12-21  
中文主要看分词库和对应的算法,lucene自带的中文Analyzer是简单二元分词法,效果并不好
14 楼 toyota2006 2006-12-21  
成啊!
13 楼 limx 2006-12-21  
Field 这个类  2.0做了修改?

请楼主讲讲2.0相对以前都有哪些改进
12 楼 lighter 2006-12-21  
Lucas Lee 写道
那如果没有一个可用的中文分词算法,那lucene目前对我们搞中文应用的,没有直接的意义咯?
我倒是看到lucene2.0里有对中文专门处理的一个包,尚没深入研究。
另外,我看到一些资料说,简单二元分词法,虽然粗糙,但是简单可用,不依赖于词典,例如:中国人民,会分词为"中国","国人","人民"。

只是用过网上一些公开的分词包,java版的fenci,AutoSplit等几个分词,测试一下速度和其他一些数据,具体的实现没有研究过。二元分词法,lucene有提供,好像叫CJKAnalyzer..
11 楼 LucasLee 2006-12-21  
那如果没有一个可用的中文分词算法,那lucene目前对我们搞中文应用的,没有直接的意义咯?
我倒是看到lucene2.0里有对中文专门处理的一个包,尚没深入研究。
另外,我看到一些资料说,简单二元分词法,虽然粗糙,但是简单可用,不依赖于词典,例如:中国人民,会分词为"中国","国人","人民"。
10 楼 lighter 2006-12-21  
Lucas Lee 写道
还不错啦。
不过代码的示例作用有限,大概只能运行起来而已。是不是能处理中文的检索,我特别关心中文分词的算法。

中文分词的算法的实现工具,目前应该最好一个应该是C语言版ICTCLAS,中国科学院什么所研究的
9 楼 LucasLee 2006-12-21  
还不错啦。
不过代码的示例作用有限,大概只能运行起来而已。是不是能处理中文的检索,我特别关心中文分词的算法。
8 楼 lighter 2006-12-21  
balaschen 写道
引用

说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别.

主要区别在什么地方啊,从你的代码看,方法好像是一样?

打一个例子吧,
这是lucene2.0的API
 QueryParser qp = new QueryParser("body", analyzer);   
 query = qp.parse(queryString);   


这是lucene1.4.3版的API 
 query = QueryParser.parse(key,queryString,new new StandardAnalyzer());

详细的改动看一些官方的文档就清楚啦

相关推荐

    搜索篇:Struts、Lucene的Web实例

    在本主题“搜索篇:Struts、Lucene的Web实例”中,我们将深入探讨两种重要的技术在Web开发中的应用:Apache Struts和Apache Lucene。Struts是一种经典的MVC(模型-视图-控制器)框架,用于构建Java Web应用程序,而...

    lucene实例lucene实例

    本篇文章将详细探讨Lucene的实例应用,以及如何通过实例来理解和掌握这一技术。 一、Lucene的基本概念 1. 文档(Document):在Lucene中,文档是信息的基本单位,可以理解为数据库中的一条记录,包含多个字段...

    Java搜索工具——Lucene实例总结(一)

    通过实例,我们可以创建一个简单的索引器,将文本文件或数据库内容导入Lucene索引,然后编写一个搜索引擎来查询这些内容。这通常涉及以下步骤: - 创建索引:定义Document结构,使用Analyzer处理Field,通过...

    Lucene使用代码实例之搜索文档

    本篇文章主要面向初学者,通过实例详细解释如何使用Lucene进行文档搜索。 首先,我们需要了解的是`Query`类。这是一个抽象类,它是所有查询的基础。根据不同的查询需求,`Query`有多个子类,如`TermQuery`、`...

    第一个lucene的简单实例....

    标题 "第一个lucene的简单实例" 提到的是关于Apache Lucene的初步应用,这是一个全文搜索引擎库,常用于Java开发中。Lucene提供了高效的文本搜索功能,使得开发者能够快速地在大量数据中查找相关信息。 描述中的 ...

    Compass+ lucene 通用代码(脱离数据库)

    Compass是一个基于Apache Lucene的全文搜索引擎库,它提供了一种简单的方式来连接到应用程序的数据源,并将其索引到Lucene中。Compass的主要优势在于它能够透明地集成到现有应用中,使得开发者无需对原有代码进行大...

    lucene开发实例

    它提供了一个简单的 API,使得开发者能够快速地在他们的应用程序中实现强大的搜索功能。本篇将深入探讨 Lucene 的核心概念、基本应用以及如何在实践中运用。 一、Lucene 概述 Lucene 是一个开源的Java库,主要用于...

    Lucene+HighLighter高亮显示实例

    本篇文章将深入探讨如何利用Apache Lucene这个强大的全文搜索引擎库,结合Highlighter组件实现搜索结果的高亮显示。 Apache Lucene是一个高性能、可扩展的开源全文检索库,它提供了完整的索引和搜索功能,使得...

    Apache Solr 搜索架构分析外部设计篇PDF

    ### Apache Solr搜索架构分析——外部设计篇 #### 一、引言 随着互联网技术的飞速发展,数据量呈爆炸性增长,高效且准确地检索海量数据成为了现代信息技术领域的一项重要挑战。Apache Solr作为一款开源的企业级...

    Lucene的的学习资料及案例

    在提供的案例中,你可以找到一个简单的Lucene应用实例。这个案例可能包含了以下部分: 1. **索引创建**: 包含读取数据源(如文件或数据库),创建Analyzer,将数据转换为Lucene的Document对象,并通过IndexWriter...

    Lucene+Nutch搜索引擎开发.王学松源代码

    本篇将围绕“Lucene+Nutch搜索引擎开发”这一主题,深入探讨王学松源代码,帮助读者理解并掌握这两项技术的核心概念和应用。 首先,Lucene是一个高性能、全文检索库,它提供了一个简单的API,使得开发者能够方便地...

    Lucene 索引的简单使用

    Lucene,作为Apache软件基金会的一个开源项目,是Java平台上的全文检索库,它提供了文本检索的核心工具,使得开发者能够快速地在应用程序中实现高级的搜索功能。本篇文章将详细阐述如何使用Lucene来创建和查询索引,...

    lucene简单demo

    这个“lucene简单demo”将向我们展示如何使用Lucene进行基本的文本检索操作。 **Lucene核心概念** 1. **索引(Indexing)**: 在Lucene中,索引是将文档内容转换为可供快速搜索的数据结构的过程。它将文本分解成...

    Lucene初探,一个初级的LuceneDemo

    接下来,我们来看看如何创建一个简单的LuceneDemo: 1. **引入依赖**:首先,你需要在项目中引入Lucene的依赖库。对于Java项目,可以通过Maven或Gradle添加相应的依赖项。 2. **创建索引**:创建一个`Directory`...

    lucene搜索的简单入门例子源代码

    本篇将通过一个简单的入门例子,带你了解如何使用Lucene进行搜索。 首先,我们要知道Lucene的核心组件包括文档(Document)、字段(Field)、索引(Index)和查询(Query)。在Lucene中,信息是以文档的形式存储,...

    LUCENE的搜索引擎例子

    本篇文章将深入探讨如何在B/S(浏览器/服务器)架构下利用Lucene实现一个简单的搜索引擎实例。 首先,我们需要了解Lucene的核心概念。Lucene提供了一套完整的文本检索框架,包括索引构建、查询解析、评分以及结果...

    Lucene简单列子工程

    这个“LuceneTest”项目就是一个基础的Lucene应用实例,它展示了如何在Eclipse环境中搭建、运行和调试Lucene搜索功能。通过这个例子,你可以更好地理解Lucene的工作原理,为后续更复杂的搜索应用打下基础。

    Lucene 3.0完成入门

    本篇文章将围绕 Lucene 3.0 版本,详细介绍其入门知识,并通过提供的文档列表,帮助你深入了解并实现简单的搜索功能。 1. **Lucene 3.0 的基础概念** - **索引**:Lucene 的核心是索引,它是一种预处理步骤,将...

    Lucene简单例子

    以上是对“Lucene简单例子”中涉及的关键知识点的详细解释,这个例子应该包含创建索引、执行搜索以及可能的更新和删除操作的示例代码,帮助新手快速上手Lucene。在实际项目中,还可以结合其他技术,如Solr或Elastic...

    使用java实现solr-7.1.0的api和solr最新支持的sql查询

    Solr是Apache Lucene项目的一个子项目,是一个高性能、基于Java的企业级搜索服务器。它提供了全文检索、Hit高亮、拼写检查、动态集群、分布式搜索等特性,广泛应用于各类数据检索场景。在本篇文章中,我们将深入探讨...

Global site tag (gtag.js) - Google Analytics