学习Lucene有两周时间,现就这两周的学习做一个简单小结,写了一个入门级别的实例,如下面所示;
小结:
一、 Lucene是全文搜索引擎,注意是全文检索,但只检索文本。具体应用可以总结为一句话:先建立索引,再进行搜索;
二、从信息源拷贝到本地进行加工,称为索引库(信息集合),加工主要包括建立索引,具体是把文本中的关键字拆分出来建立索引;搜索时在本地索引库中搜索,具体是把搜索的字符串解析后再到索引库中匹配;
三、文本在建立索引和搜索时都会进行分词,并且要使用同一个分词器。
下面展示运行例子,先贴运行截图:
本例子是一个Web项目,需要运行在Servlet容器中,下载附件War包后部署好项目后,先访问后台http://localhost:8080/lucene/admin/index.jsp添加数据:
如图,在D:\\lucene目录下游许多原始数据,主要包括一些文本文件,如Word,Excel,PPT,txt,HTML,XML等,这些文件中包括许多信息;
提交添加完成后访问主页面http://localhost:8080/lucene/ 进行搜索
点击回车或搜索可以看到结果:
可以看到包含关键字Kobe的文本有上图所示那么多,点击可以进行查看相应文档;
代码简要说明:
一、Lucene不能直接对Word,Excel,PPT,PDF等进行检索,检索时需要先抽取出Word,Excel,PPT,PDF包含的文本,抽取文本类为:File2StringUtils,如下所示:
package lucene.service;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import org.apache.pdfbox.pdfparser.PDFParser;
import org.apache.pdfbox.pdmodel.PDDocument;
import org.apache.pdfbox.util.PDFTextStripper;
import org.apache.poi.hslf.HSLFSlideShow;
import org.apache.poi.hslf.model.Slide;
import org.apache.poi.hslf.model.TextRun;
import org.apache.poi.hslf.usermodel.SlideShow;
import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.hwpf.extractor.WordExtractor;
public class File2StringUtils {
public static String wordTranslation(File file) throws IOException {
InputStream in = new FileInputStream(file);
WordExtractor wordExtractor = new WordExtractor(in);
return wordExtractor.getText();
}
public static String powerPointTranslation(File file) throws IOException {
InputStream in = new FileInputStream(file);
StringBuffer sb = new StringBuffer("");
SlideShow ss = new SlideShow(new HSLFSlideShow(in));
Slide[] slides = ss.getSlides();
for (int i = 0; i < slides.length; i++) {
TextRun[] t = slides[i].getTextRuns();
for (int j = 0; j < t.length; j++) {
sb.append(t[j].getText());
}
sb.append(slides[i].getTitle());
}
return sb.toString();
}
public static String excelTranlation(File file) {
StringBuffer sb = new StringBuffer("");
try {
InputStream in = new FileInputStream(file);
HSSFWorkbook workbook = new HSSFWorkbook(in);
int numberOfSheet = workbook.getNumberOfSheets();
for(int i = 0 ; i < numberOfSheet ; i ++) {
HSSFSheet sheet = workbook.getSheetAt(i);
int rows = sheet.getLastRowNum();
for(int j = 0 ; j < rows; j ++) {
HSSFRow row = sheet.getRow(j);
int cells = row.getLastCellNum();
for(int k = 0 ; k < cells ; k ++) {
HSSFCell cell = row.getCell(k);
String str = cell.getStringCellValue();
sb.append(str + " ");
}
}
}
} catch (Exception e) {
return sb.toString();
}
return sb.toString();
}
public static String pdfTranslation(File file) throws IOException {
InputStream in = new FileInputStream(file);
PDFParser parser = new PDFParser(in);
parser.parse();
PDDocument doc = parser.getPDDocument();
PDFTextStripper stripper = new PDFTextStripper();
return stripper.getText(doc);
}
public static void main(String[] args) throws IOException {
// File file= new File("D:\\lucene\\doc.doc");
// System.out.println(wordTranslation(file));
// File file= new File("D:\\lucene\\ppt.ppt");
// System.out.println(powerPointTranslation(file));
// File file= new File("D:\\lucene\\xls.xls");
// System.out.println(excelTranlation(file));
File file= new File("D:\\lucene\\pdf.pdf");
System.out.println(pdfTranslation(file));
}
}
二、创建索引部分代码:
private Document getDocument(File file) throws IOException {
Document doc = new Document();
doc.add(new Field(
"path",
file.getPath(),
Field.Store.YES,
Field.Index.NOT_ANALYZED
));
doc.add(new Field(
"modified",
new SimpleDateFormat("yyyy:MM:dd HH:mm:ss").format(file.lastModified()),
Field.Store.YES,
Field.Index.NOT_ANALYZED
));
doc.add(new Field("contents", getTextualReader(file)));
return doc;
}
private Reader getTextualReader(File file) throws IOException {
if(file.getName().endsWith(".doc")) {
return new StringReader(File2StringUtils.wordTranslation(file));
} else if(file.getName().endsWith(".ppt")) {
return new StringReader(File2StringUtils.powerPointTranslation(file));
}else if(file.getName().endsWith(".xls")) {
return new StringReader(File2StringUtils.excelTranlation(file));
}else {
return new FileReader(file);
}
}
具体细节代码查看附件
完
- 大小: 10.1 KB
- 大小: 7.8 KB
- 大小: 59.5 KB
分享到:
相关推荐
描述:Lucene学习笔记,Lucene入门必备材料 知识点: 一、Lucene概述与文档管理策略 Lucene是一款高性能、全功能的文本搜索引擎库,广泛应用于文档检索、全文搜索等场景。为了提升搜索效率,Lucene支持对不同频率...
**Lucene 学习笔记 1** Lucene 是一个全文搜索引擎库,由 Apache 软件基金会开发。它提供了一个可扩展的、高性能的搜索框架,使得开发者能够在其应用程序中集成高级的搜索功能。本篇学习笔记将深入探讨 Lucene 的...
【Lucene学习笔记】 Lucene 是一款开源的全文检索框架,由Apache软件基金会维护,它提供了高效的、可扩展的搜索引擎功能。不同于一个完整的应用程序,Lucene 提供的是一个基础组件,开发者可以将其集成到自己的应用...
Lucene,作为一款开源的全文搜索引擎库,被广泛应用于各种信息检索场景。本文将详细讲解Lucene 2.9.1版本的核心概念、架构以及索引创建与搜索的流程。 一、Lucene 2.9.1环境搭建 在开始使用Lucene之前,首要任务是...
《Lucene 2.4与Nutch学习笔记:在多文本文档中搜索关键词》 Lucene是一个高性能、全文本搜索引擎库,它为开发者提供了在Java应用程序中实现全文搜索功能的基本工具。Nutch则是一个开源的网络爬虫项目,用于抓取...
1. **全文检索Lucene.pdf**:这可能是一个详细的教程或者课程笔记,涵盖了Lucene的基本概念、架构、核心类的解析,以及如何利用Lucene进行全文检索的实例。你可能会在这里找到关于如何创建索引、查询执行、结果排序...
ElasticSearch学习笔记 ElasticSearch是基于Apache Lucene的搜索和数据分析引擎,提供了RESTful API用于数据的索引、搜索和分析。本笔记将对ElasticSearch的基本概念、架构、应用场景和实现细节进行详细介绍。 一...
【Compass原理深入学习笔记】 Compass是一款基于Apache Lucene的全文搜索引擎框架,它为开发者提供了更高级别的抽象层,简化了搜索引擎的集成工作。在理解Compass之前,我们需要先了解全文检索的基本概念和原理。 ...
**Elasticsearch实战学习笔记** Elasticsearch是一个开源的全文搜索引擎,基于Lucene构建,设计为分布式的实时文档存储和搜索系统。它不仅提供搜索功能,还具备数据分析、日志收集和监控等多种用途。在本学习笔记中...
solr 学习笔记主要涵盖了 Solr 的基本安装与配置,以及 Solr 服务器复制的配置,这些都是初学者需要掌握的基础知识。 Solr 是一款基于 Lucene 的全文搜索引擎,广泛应用于大数据检索和文本分析。在安装 Solr 时,...
Elasticsearch(ES)是一种基于Lucene的开源全文搜索引擎,以其高效、可扩展性以及实时分析能力,在大数据时代中扮演着重要角色。它不仅是一个搜索引擎,更是一个分布式、RESTful风格的搜索和数据分析引擎,能够处理...
为解决这一问题,2000年诞生了Lucene——一种基于索引的全文检索库。 - **倒排索引**:是一种特殊的索引结构,用于提高全文检索系统的性能。与正向索引不同,倒排索引以文档中包含的词语为键,指向包含该词语的文档...
18. **Lucene**:Lucene是Apache的一个全文检索库,可以用于构建搜索引擎,支持文本分析、索引和搜索。 19. **Linux**:Linux是一种广泛使用的开源操作系统,对于服务器端的JavaEE应用开发,了解Linux命令行操作和...
- **定义**:Elasticsearch是一个基于Lucene的分布式、RESTful风格的搜索和数据分析引擎。它提供了可扩展的全文搜索功能,并且易于管理和部署。 - **主要特性**: - 分布式:可以水平扩展以支持大规模数据集。 - ...
Elasticsearch(ES)是基于Lucene的分布式搜索引擎,它以高效、可扩展性和实时性著称,广泛用于大数据分析和日志管理。Kibana是Elastic Stack(也称为ELK Stack,包括Elasticsearch、Logstash和Kibana)的一部分,...
Elasticsearch是一个开源的搜索引擎,基于Lucene构建,能够在全文本搜索中实现接近实时的搜索。Elasticsearch具有分布式特性,能够在多个服务器上运行,提供水平扩展和高可用性。它对外提供RESTful API,支持多种...