`
kankan1218
  • 浏览: 276698 次
  • 性别: Icon_minigender_1
  • 来自: 大连
社区版块
存档分类
最新评论

lucene 创建索引和搜索

阅读更多
1.lucene创建索引和搜索,主要用到一下几个类,IndexWriter,Document,Analyzer;IndexSearcher,QueryParser,Query,TopDocs,

2.通过FSDirectory和RAMDirectory的并用,可以提高速度。先把磁盘上的索引文件载入内存,然后在内存操作,免去了IO操作,可以提高效率,最后退出时,要把内存操作的结果保存在磁盘上。

3.fsIndexWriter.optimize();优化索引文件,把多个cfs文件合并成一个

4.建立索引和进行搜索时应该使用同一个分词器。


ps:用到的jar包:/LuceneDemo/lib/je-analysis-1.5.3.jar(中文分词器)
/LuceneDemo/lib/lucene-analyzers-2.4.0.jar(lucenne自带的)
/LuceneDemo/lib/lucene-core-2.4.0.jar
/LuceneDemo/lib/lucene-highlighter-2.4.0.jar

package com.bjsxt.helloworld;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriter.MaxFieldLength;
import org.apache.lucene.queryParser.MultiFieldQueryParser;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.Filter;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.store.RAMDirectory;

import com.bjsxt.utils.File2DocumentUtil;

public class HelloWorld {

	/**
	 * @param args
	 */
	String filePath = "D:\\flexWorkespace\\LuceneDemo\\luceneDataSource\\IndexWriter addDocument's a javadoc .txt";
	String indexPath = "D:\\flexWorkespace\\LuceneDemo\\indexPath";

	Analyzer analyzer = new StandardAnalyzer();

	public static void main(String[] args) throws Exception {
		new HelloWorld().createIndexByDir();
		new HelloWorld().searchByDir("document");
	}

	public void createIndex() throws Exception {
		// File file = new File(filePath);
		Document doc = File2DocumentUtil.file2Document(filePath);

		// IndexWriter 是用来操作(增删改)索引库的
		IndexWriter iw = new IndexWriter(indexPath, analyzer, true,
				MaxFieldLength.LIMITED);
		iw.addDocument(doc);
		iw.close();
	}
	
	public void createIndexByDir()throws Exception {
		
		//1.创建时候载入文件系统里的索引
		Directory fsDir = FSDirectory.getDirectory(indexPath);
		Directory ramDir = new RAMDirectory(fsDir);
		//new ramIndexWriter时不需要重新创建
		IndexWriter ramIndexWriter = new IndexWriter(ramDir, analyzer, MaxFieldLength.LIMITED);
		//添加document
		Document doc = File2DocumentUtil.file2Document(filePath);
		ramIndexWriter.addDocument(doc);
		ramIndexWriter.close();
		
		//2.退出时保存内存里的索引
		//new fsIndexWriter时需要重新创建,即删除原来的索引文件
		IndexWriter fsIndexWriter = new IndexWriter(fsDir, analyzer, true, MaxFieldLength.LIMITED);
//		Directory[] dir = {ramDir};                       
		fsIndexWriter.addIndexesNoOptimize(new Directory[]{ramDir});
                  //把内存里的东西提交后才优化
		fsIndexWriter.commit();
                  // 优化索引文件,把多个cfs文件合并成一个 
                  fsIndexWriter.optimize();      
		fsIndexWriter.close();
	}
	
	public void search(String queryStr) throws Exception {
		String[] fields = { "name", "content" };
		QueryParser queryParser = new MultiFieldQueryParser(fields, analyzer);
		Query query = null;
		Filter filter = null;
		query = queryParser.parse(queryStr);
		IndexSearcher indexSearcher = null;
		indexSearcher = new IndexSearcher(indexPath);
		TopDocs topDocs = indexSearcher.search(query, filter, 1000);
		System.out.println("总共有" + topDocs.totalHits + "条记录:");
		for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
			int docNum = scoreDoc.doc;
			Document doc = indexSearcher.doc(docNum);
			File2DocumentUtil.printDocumentInfo(doc);
		}
	}
	
}


工具类:
import org.apache.lucene.document.Field.Index;
import org.apache.lucene.document.Field.Store;

public class File2DocumentUtil {
	public static Document file2Document(String filePath) throws Exception {
		File file = new File(filePath);

		Document doc = new Document();
		doc.add(new Field("name", file.getName(), Store.YES, Index.ANALYZED));
		doc.add(new Field("content", readFileContent(file), Store.YES,
				Index.ANALYZED));
		doc.add(new Field("size", String.valueOf(file.length()), Store.YES,
				Index.NOT_ANALYZED));
		doc.add(new Field("path", file.getAbsolutePath(), Store.YES, Index.NO));

		return doc;
	}

	private static String readFileContent(File file) throws Exception {
		// TODO Auto-generated method stub
		StringBuffer content = new StringBuffer();
		BufferedReader br = new BufferedReader(new FileReader(file));
		for (String line = null; (line = br.readLine()) != null;) {
			content.append(line).append("\n");
		}

		return content.toString();
	}

	public static void printDocumentInfo(Document doc) {
		System.out.println("------------------------------");
		System.out.println("name:" + doc.get("name"));
		System.out.println("content:" + doc.get("content"));
		System.out.println("path:" + doc.get("path"));
		System.out.println("size:" + doc.get("size"));
	}
}
分享到:
评论

相关推荐

    Lucene3.0创建索引

    在Lucene3.0中创建索引是一个关键功能,可以帮助用户快速地检索和管理大量的文本数据。本篇文章将详细介绍如何使用Lucene3.0来创建索引,并通过一个具体的例子来演示整个过程。 #### 一、Lucene3.0简介 Lucene是一...

    基于lucene的索引与搜索

    然后,索引器对抓取的网页进行处理,创建索引;最后,查询处理器接收用户的搜索请求,并利用索引返回相关的搜索结果。 2.2 搜索引擎的构成 2.2.1 网络机器人 网络机器人是搜索引擎的第一步,它们自动地遍历互联网...

    lucene全文检索简单索引和搜索实例

    2. 创建索引目录:索引数据会存储在一个Directory对象中,可以是文件系统、内存或数据库。通常我们选择FSDirectory,将索引存储在本地文件系统。 3. 创建文档对象:为每份要索引的数据创建一个Document对象,添加...

    Lucene5写的全文搜索的demo,包括创建索引和搜索

    在本示例中,我们将探讨 Lucene5 创建索引和执行搜索的基本流程。 1. **安装与设置** - `.classpath` 和 `.project` 文件是 Eclipse IDE 的配置文件,它们包含了项目的类路径和工程设置。为了运行 Lucene 示例,...

    搜索引擎开发现实文档(lucene)

    Lucene 是一个开源的高性能的信息搜索库(IR Information Retrieval Library),主要用于全文搜索和信息检索。以下是 Lucene 的详细知识点: Lucene 基础回顾 1. 数据检索的问题:原始方式实现搜索功能存在数据库...

    Lucene创建与搜索索引

    本文将重点介绍如何使用Lucene创建索引以及如何基于这些索引进行高效的搜索。 #### 二、创建索引 ##### 2.1 准备工作 在开始之前,我们需要做一些准备工作: - **安装Java环境**:Lucene基于Java开发,因此首先...

    lucene索引结构原理

    理解Lucene的索引结构原理对于优化搜索性能和设计高效的搜索应用至关重要。 首先,我们要知道Lucene的索引并非数据库中的那种可以立即定位数据的索引,而是用于快速查找文档中包含特定单词的索引。这个过程分为以下...

    Lucene5学习之创建索引入门示例

    **Lucene5学习之创建索引入门示例** 在IT领域,搜索引擎的开发与优化是一项关键技术,而Apache Lucene作为一款高性能、全文本搜索库,是许多开发者进行文本检索的首选工具。本文将深入探讨如何使用Lucene5来创建一...

    lucene索引优化多线程多目录创建索引

    本教程主要探讨的是如何利用Lucene进行索引优化,特别是通过多线程和处理多个目录来提高索引创建效率。 首先,我们需要理解Lucene的索引原理。Lucene将文档分解为词项(tokens),并对每个词项创建倒排索引。倒排...

    用LUCENE连击MYSQL建立索引并搜索的JAVA代码。

    在这个场景中,我们讨论的是如何结合Lucene和MySQL来实现一个Java应用程序,该程序能够从MySQL数据库中提取数据,创建索引,并进行高效的搜索。 首先,我们需要理解Lucene的工作原理。Lucene通过分析文本,将文档...

    Lucene 索引的简单使用

    创建索引 创建Lucene索引的步骤包括: 1. **初始化Directory**:选择存储索引的目录,如FSDirectory(文件系统)、RAMDirectory(内存)等。 2. **创建IndexWriter**:配置IndexWriter实例,指定Directory、...

    lucene 4.7.2 Demo

    创建索引是全文检索的基础,它涉及将文本数据结构化为Lucene可以理解和查询的形式。开发者可以通过Analyzer类来处理输入的文本,进行分词、去除停用词等预处理步骤。然后,使用Document类表示要索引的数据,Field类...

    最简单的Lucene建立、搜索索引的方法

    - 为了提高搜索效率,可以在创建索引时设置适当的参数,如`IndexWriterConfig`的`OpenMode`(决定是否覆盖现有索引)和`IndexingOptions`(决定是否存储原始文档)。 - 在MyEclipse10中开发Lucene应用时,确保JDK...

    lucene简单教程poading中文分词.pdf

    可能包含使用 Lucene 创建索引和搜索的逻辑。 - `com.ajun.servlet.getResult.java`:可能是一个 Servlet,用于处理 HTTP 请求并返回搜索结果。 - `com.ajun.voConditionInfo.java`、`SearchItemInfo.java`、`...

    lucene 对 xml建立索引

    - 使用Lucene提供的API来创建索引。 - 需要创建一个`IndexWriter`对象,指定索引存储的位置及索引的配置选项。 - 对于每个XML文档中的元素,可以创建一个`Document`对象,并将其添加到`IndexWriter`中。 3. **...

    基于lucene技术的增量索引

    - **首次创建索引**:首先,我们需要遍历整个数据源,创建每个文档的实例,然后将这些文档添加到Lucene的索引writer中。完成这一步后,就会生成一个完整的初始索引。 - **监控数据变更**:为了实现增量索引,我们...

    lucene 索引小示例

    在创建索引时,Lucene会对文档进行分词,生成一系列的关键词(也称为术语或Token),然后构建倒排索引。倒排索引是一种数据结构,它将每个关键词与包含该关键词的文档位置相关联,使得我们可以迅速找到包含特定词汇...

    Lucene.NET全文索引搜索Demo项目

    这个"Lucene.NET全文索引搜索Demo项目"是一个实际应用示例,展示了如何在.NET环境中使用Lucene.NET进行全文索引和搜索操作。 首先,我们要理解什么是全文索引。全文索引是一种特殊的数据库索引,它允许用户通过输入...

    Lucene结合Sql建立索引Demo源码.rar

    Lucene(这里用到的是Lucene.net版本也成为DotLucene)是一个信息检索的函数库(Library),利用它你可以为你的应用加上索引和搜索的功能. Lucene的使用者不需要深入了解有关全文检索的知识,仅仅学会使用库中的一个类,...

Global site tag (gtag.js) - Google Analytics