`
kylinsoong
  • 浏览: 240040 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Lucene学习笔记(一)Lucene入门实例

阅读更多

学习Lucene有两周时间,现就这两周的学习做一个简单小结,写了一个入门级别的实例,如下面所示;

小结:

一、 Lucene是全文搜索引擎,注意是全文检索,但只检索文本。具体应用可以总结为一句话:先建立索引,再进行搜索;

二、从信息源拷贝到本地进行加工,称为索引库(信息集合),加工主要包括建立索引,具体是把文本中的关键字拆分出来建立索引;搜索时在本地索引库中搜索,具体是把搜索的字符串解析后再到索引库中匹配;

三、文本在建立索引和搜索时都会进行分词,并且要使用同一个分词器。

下面展示运行例子,先贴运行截图:

本例子是一个Web项目,需要运行在Servlet容器中,下载附件War包后部署好项目后,先访问后台http://localhost:8080/lucene/admin/index.jsp添加数据:



 如图,在D:\\lucene目录下游许多原始数据,主要包括一些文本文件,如Word,Excel,PPT,txt,HTML,XML等,这些文件中包括许多信息;

提交添加完成后访问主页面http://localhost:8080/lucene/ 进行搜索



 

点击回车或搜索可以看到结果:



 可以看到包含关键字Kobe的文本有上图所示那么多,点击可以进行查看相应文档;

 

代码简要说明:

一、Lucene不能直接对Word,Excel,PPT,PDF等进行检索,检索时需要先抽取出Word,Excel,PPT,PDF包含的文本,抽取文本类为:File2StringUtils,如下所示:

package lucene.service;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;

import org.apache.pdfbox.pdfparser.PDFParser;
import org.apache.pdfbox.pdmodel.PDDocument;
import org.apache.pdfbox.util.PDFTextStripper;
import org.apache.poi.hslf.HSLFSlideShow;
import org.apache.poi.hslf.model.Slide;
import org.apache.poi.hslf.model.TextRun;
import org.apache.poi.hslf.usermodel.SlideShow;
import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.hwpf.extractor.WordExtractor;

public class File2StringUtils {

	public static String wordTranslation(File file) throws IOException {
		InputStream in = new FileInputStream(file);
		WordExtractor wordExtractor = new WordExtractor(in);
		return wordExtractor.getText();
	}
	
	public static String powerPointTranslation(File file) throws IOException {
		InputStream in = new FileInputStream(file);
		StringBuffer sb = new StringBuffer("");
		SlideShow ss = new SlideShow(new HSLFSlideShow(in));
		Slide[] slides = ss.getSlides();
		for (int i = 0; i < slides.length; i++) {
			TextRun[] t = slides[i].getTextRuns();
			for (int j = 0; j < t.length; j++) {
				sb.append(t[j].getText());
			}
			sb.append(slides[i].getTitle());
		}
		return sb.toString();
	}
	
	public static String excelTranlation(File file)  {
		StringBuffer sb = new StringBuffer("");
		try {
			InputStream in = new FileInputStream(file);
			HSSFWorkbook workbook = new HSSFWorkbook(in);
			int numberOfSheet = workbook.getNumberOfSheets();
			for(int i = 0 ; i < numberOfSheet ; i ++) {
				HSSFSheet sheet = workbook.getSheetAt(i);
				int rows = sheet.getLastRowNum();
				for(int j = 0 ; j < rows; j ++) {
					HSSFRow row = sheet.getRow(j);
					int cells = row.getLastCellNum();
					for(int k = 0 ; k < cells ; k ++) {
						HSSFCell cell = row.getCell(k);
						String str = cell.getStringCellValue();
						sb.append(str + " ");
					}
				}
			}
		}  catch (Exception e) {
			return sb.toString();
		}
			
		return sb.toString();
	}
	
	public static String pdfTranslation(File file) throws IOException {
		InputStream in = new FileInputStream(file);
		PDFParser parser = new PDFParser(in);
		parser.parse();
		PDDocument doc = parser.getPDDocument();
		PDFTextStripper stripper = new PDFTextStripper();	
		return stripper.getText(doc);
	} 
	
	
	public static void main(String[] args) throws IOException {
		
//		File file= new File("D:\\lucene\\doc.doc");
//		System.out.println(wordTranslation(file));
		
		
//		File file= new File("D:\\lucene\\ppt.ppt");
//		System.out.println(powerPointTranslation(file));
		
//		File file= new File("D:\\lucene\\xls.xls");
//		System.out.println(excelTranlation(file));
		
		File file= new File("D:\\lucene\\pdf.pdf");
		System.out.println(pdfTranslation(file));
	}
}

 

二、创建索引部分代码:

private Document getDocument(File file) throws IOException {
		Document doc = new Document();
		doc.add(new Field(
						  "path", 
						  file.getPath(), 
						  Field.Store.YES, 
						  Field.Index.NOT_ANALYZED
						  ));
		doc.add(new Field(
						  "modified",
						  new SimpleDateFormat("yyyy:MM:dd HH:mm:ss").format(file.lastModified()), 
						  Field.Store.YES, 
						  Field.Index.NOT_ANALYZED
						  ));
		doc.add(new Field("contents", getTextualReader(file)));
		return doc;
	}

	private Reader getTextualReader(File file) throws IOException {
		if(file.getName().endsWith(".doc")) {
			return new StringReader(File2StringUtils.wordTranslation(file));
		} else if(file.getName().endsWith(".ppt")) {
			return new StringReader(File2StringUtils.powerPointTranslation(file));
		}else if(file.getName().endsWith(".xls")) {
			return new StringReader(File2StringUtils.excelTranlation(file));
		}else {
			return new FileReader(file);
		}

	}

 

具体细节代码查看附件

 

 

 

 

 

 

 

 

 

  • 大小: 10.1 KB
  • 大小: 7.8 KB
  • 大小: 59.5 KB
3
0
分享到:
评论
1 楼 wang1352083 2012-08-30  
感谢楼主,能把源文件发我一份吗?wang1352083@gmail.com这样就更容易入门lucene了.

相关推荐

    lucene学习笔记

    描述:Lucene学习笔记,Lucene入门必备材料 知识点: 一、Lucene概述与文档管理策略 Lucene是一款高性能、全功能的文本搜索引擎库,广泛应用于文档检索、全文搜索等场景。为了提升搜索效率,Lucene支持对不同频率...

    Lucene 学习笔记 1

    **Lucene 学习笔记 1** Lucene 是一个全文搜索引擎库,由 Apache 软件基金会开发。它提供了一个可扩展的、高性能的搜索框架,使得开发者能够在其应用程序中集成高级的搜索功能。本篇学习笔记将深入探讨 Lucene 的...

    Lucene学习笔记

    【Lucene学习笔记】 Lucene 是一款开源的全文检索框架,由Apache软件基金会维护,它提供了高效的、可扩展的搜索引擎功能。不同于一个完整的应用程序,Lucene 提供的是一个基础组件,开发者可以将其集成到自己的应用...

    本人的Lucene2.9学习笔记

    Lucene,作为一款开源的全文搜索引擎库,被广泛应用于各种信息检索场景。本文将详细讲解Lucene 2.9.1版本的核心概念、架构以及索引创建与搜索的流程。 一、Lucene 2.9.1环境搭建 在开始使用Lucene之前,首要任务是...

    lucene2.4+nutch学习笔记三:lucene 在多个文本文档里找出包含一些关键字的文档

    《Lucene 2.4与Nutch学习笔记:在多文本文档中搜索关键词》 Lucene是一个高性能、全文本搜索引擎库,它为开发者提供了在Java应用程序中实现全文搜索功能的基本工具。Nutch则是一个开源的网络爬虫项目,用于抓取...

    [HeyJava][传智播客]全文检索Lucene源码

    1. **全文检索Lucene.pdf**:这可能是一个详细的教程或者课程笔记,涵盖了Lucene的基本概念、架构、核心类的解析,以及如何利用Lucene进行全文检索的实例。你可能会在这里找到关于如何创建索引、查询执行、结果排序...

    ElasticSearch学习笔记

    ElasticSearch学习笔记 ElasticSearch是基于Apache Lucene的搜索和数据分析引擎,提供了RESTful API用于数据的索引、搜索和分析。本笔记将对ElasticSearch的基本概念、架构、应用场景和实现细节进行详细介绍。 一...

    Compass原理深入学习笔记

    【Compass原理深入学习笔记】 Compass是一款基于Apache Lucene的全文搜索引擎框架,它为开发者提供了更高级别的抽象层,简化了搜索引擎的集成工作。在理解Compass之前,我们需要先了解全文检索的基本概念和原理。 ...

    学习笔记(ElasticSearch)(实战)

    **Elasticsearch实战学习笔记** Elasticsearch是一个开源的全文搜索引擎,基于Lucene构建,设计为分布式的实时文档存储和搜索系统。它不仅提供搜索功能,还具备数据分析、日志收集和监控等多种用途。在本学习笔记中...

    solr 学习笔记

    solr 学习笔记主要涵盖了 Solr 的基本安装与配置,以及 Solr 服务器复制的配置,这些都是初学者需要掌握的基础知识。 Solr 是一款基于 Lucene 的全文搜索引擎,广泛应用于大数据检索和文本分析。在安装 Solr 时,...

    es学习笔记.zip

    Elasticsearch(ES)是一种基于Lucene的开源全文搜索引擎,以其高效、可扩展性以及实时分析能力,在大数据时代中扮演着重要角色。它不仅是一个搜索引擎,更是一个分布式、RESTful风格的搜索和数据分析引擎,能够处理...

    jt14日常笔记

    为解决这一问题,2000年诞生了Lucene——一种基于索引的全文检索库。 - **倒排索引**:是一种特殊的索引结构,用于提高全文检索系统的性能。与正向索引不同,倒排索引以文档中包含的词语为键,指向包含该词语的文档...

    javaee笔记

    18. **Lucene**:Lucene是Apache的一个全文检索库,可以用于构建搜索引擎,支持文本分析、索引和搜索。 19. **Linux**:Linux是一种广泛使用的开源操作系统,对于服务器端的JavaEE应用开发,了解Linux命令行操作和...

    elasticsearch基础知识,从小白到入门

    - **定义**:Elasticsearch是一个基于Lucene的分布式、RESTful风格的搜索和数据分析引擎。它提供了可扩展的全文搜索功能,并且易于管理和部署。 - **主要特性**: - 分布式:可以水平扩展以支持大规模数据集。 - ...

    es..kibana相关笔记-.zip

    Elasticsearch(ES)是基于Lucene的分布式搜索引擎,它以高效、可扩展性和实时性著称,广泛用于大数据分析和日志管理。Kibana是Elastic Stack(也称为ELK Stack,包括Elasticsearch、Logstash和Kibana)的一部分,...

    Elasticsearch API

    Elasticsearch是一个开源的搜索引擎,基于Lucene构建,能够在全文本搜索中实现接近实时的搜索。Elasticsearch具有分布式特性,能够在多个服务器上运行,提供水平扩展和高可用性。它对外提供RESTful API,支持多种...

Global site tag (gtag.js) - Google Analytics