前言
目前处于工作交接阶段，比较清闲，花了几天时间看了Lucene，了解一下这个老总一直说要用之来解决项目中的问题的东东。Lucene的原理相对简单，有几篇文章很好地进行了介绍，见参考资料，这里只是按自己的理解整理一下。Lucene In Action对具体的细节有比较深入的介绍，遗憾的是该书是针对1.x版本的，新版本有很多变化，不过不影响对其原理的理解。
要想从海量数据中快速地查找需要的信息，比如用户想要通过Amazon查找需要的图书，最有效的方式就是建立索引，然后基于这些索引就可以快速的定位信息。
Lucene是一个开源的组件包，具体的应用可以基于这个组件包提供索引构建和信息搜索功能。
使用Lucene主要包含两个步骤，一是构建索引，二是基于索引进行搜索。这两个步骤通常是两个分离的进程，最常用的作法是后台构建索引，前台提供搜索支持。
Lucene的索引构建是基于文本文件的，如果要针对其他数据源，如数据库记录进行索引，必须进行一些预处理，Lucene本身提供对PDF,WORD等文件类型的解析器。
构建索引的过程有一个比较关键的步骤是分词技术，Lucene发布包不提供对中文分词的支持，不过目前处于SandBox阶段有一个中文分词实现。如果要提高搜索的性能和质量，必须针对特定的应用实现自己的分词器。
实践
写了一个简单的示例，试用了一下Lucene，基于lucene2.1.0版本，需要下载该版本的jar文件，包含在类路径即可，因为要测试中文检索，所以还需要从lucene官网下载中文的分词包。
示例基于这样一个场景，要能很方便的根据名称查找我机器上的MP3文件，必须支持模糊查询，为了方便测试，我准备了四个mp3文件，分别是堕落天使.mp3，没你的日子.mp3，如果你还爱我.mp3，天堂.mp3。
Mp3Searcher类主要包含两个方法，buildIndex主要用来基于上述MP3文件构建索引，目前这些索引保存在RAMDirectory中，这是一个基于内存的索引存储，运行完毕不会持久化。search方法接受一个查询字符串，返回查找结果。
java 代码
- public class Mp3Searcher
- {
- public static final String DATA_DIR = "E:\\temp\\mp3";
-
- protected static Log log = LogFactory.getLog(Mp3Searcher.class);
-
- private RAMDirectory directory = null;
-
- private ChineseAnalyzer analyzer = null;
-
- public Mp3Searcher()
- {
- directory = new RAMDirectory();
- analyzer = new ChineseAnalyzer();
- }
-
-
-
-
-
-
-
- public Hits search( String name) throws IOException, ParseException
- {
- IndexSearcher searcher = new IndexSearcher(directory);
- QueryParser parser = new QueryParser("name",analyzer);
- return searcher.search(parser.parse(name));
- }
-
-
- public void buildIndex( String dataDir) throws IOException
- {
-
- IndexWriter writer = new IndexWriter(directory, analyzer, true);
-
-
- Collection files = FileUtils.listFiles(new File(DATA_DIR),
- new String[] { "mp3" }, false);
- if (files != null)
- {
-
- Iterator iterator = files.iterator();
- Document doc = null;
- File file = null;
- while (iterator.hasNext())
- {
- file = (File) iterator.next();
- doc = new Document();
- doc.add(new Field("name", FilenameUtils.getBaseName(file
- .getAbsolutePath()), Field.Store.YES,
- Field.Index.TOKENIZED));
- writer.addDocument(doc);
-
- log.debug("index file " + file.getName());
- }
- }
- writer.optimize();
- writer.close();
- }
-
- }
测试用例如下：
java 代码
- public class Mp3SearcherTest extends TestCase
- {
- private Mp3Searcher searcher = new Mp3Searcher();
-
- public void setUp() throws Exception
- {
- searcher.buildIndex(Mp3Searcher.DATA_DIR);
- }
-
- public void testSearch() throws Exception
- {
- Hits results = searcher.search("没你的日子");
- assertEquals(1,results.length());
-
- Document doc = results.doc(0);
- assertEquals("没你的日子",doc.getField("name").stringValue());
-
- results = searcher.search("天");
- assertEquals(2,results.length());
-
- doc = results.doc(0);
- assertNotNull(doc);
-
- }
- }
总结
Lucene提供一个非常简单易用的API，可以很容易的基于其构建搜索引用，同时也提供很好的扩展。要构建一个成熟的产品级应用，还需要做很多工作，主要包括如何实现针对特定领域的分词技术来提高索引的质量，索引的大小。
如何基于数据库进行索引
很多应用的数据都是存储在数据库中的，比如china-pub的所有的书籍目录，CMS中的客户资料。如何针对这些数据来源构建搜索应用呢？
可以建一个后台进程，在闲时构建增量索引，比如每天晚上12点。这种方式不能保证实时查询到最新录入的数据，搜索会有一定的延迟，但是大多数这种应用都能接受这种延迟。如果要在每次增加新的数据时构建索引，会极大的影响应用的性能。
参考资料
www.ibm.com/developerworks/cn/java/j-lo-lucene1/
www.ibm.com/developerworks/cn/java/wa-lucene/
www.iteye.com/topic/70305
分享到：
相关推荐
- **章节1：初识Lucene** - **信息组织与访问的发展**：介绍了从最早的纸质图书到数字化时代的信息检索方式的变化，强调了现代搜索引擎技术的重要性。 - **Lucene是什么**： - **定义**：Lucene是一个高性能、全...
第1章 Lucene初识 Lucene4入门精通实战课程概述 Lucene系统架构 第2章 Lucene索引 Lucene索引里有什么 Lucene索引深入 Lucene索引深入优化 Lucene索引搜索 第3章 Lucene搜索实战 Lucene搜索实战 Lucene搜索深入...
1. 初识Lucene： - 了解Lucene的基本组件，如Analyzer、Document、Field、IndexReader、IndexWriter、Query等。 - 学习如何创建简单的索引和搜索示例。 - 掌握基本的查询语法，如TermQuery、BooleanQuery、...
初识Lucene的人可能会误认为它是一个可以直接使用的应用程序，比如文件搜索程序、网络爬虫或网站搜索引擎。实际上，Lucene并非如此，它是一个软件库，更确切地说，是一个工具包，而不是一个完整的功能丰富的搜索应用...
《Lucene：初识搜索引擎库的“Hello World”》 Lucene，作为Apache软件基金会的顶级项目，是一款高性能、全文本检索引擎库，被广泛应用于各类搜索引擎和信息检索系统中。它提供了完整的搜索功能，包括索引、查询、...
### Elasticsearch 初识与简单案例 #### 一、Elasticsearch简介 Elasticsearch 是一款基于 Lucene 的分布式全文搜索引擎，具有高度可扩展性及灵活性。它不仅支持文本搜索，还能进行复杂的数据分析任务，因此在众多...
Hadoop 是一个能够处理海量数据的开源软件框架，它最初由Apache Lucene项目演化而来，旨在解决大规模数据处理的问题。Hadoop 2.x 版本相比早期版本有了显著的改进和增强，特别是在性能、稳定性和安全性方面。 - **...
Doug Cutting是著名的开源搜索技术倡导者和创造者，他之前还创立了Lucene和Nutch等项目。 - **命名由来**：Hadoop这个名字来源于Cutting的孩子给一头玩具大象起的名字，它是一个非正式的名称，简单易记，没有特殊...
Elasticsearch是基于Apache Lucene构建的开源全文搜索引擎，因其易于使用和高性能的特点深受开发者喜爱。它不仅支持实时搜索，还具备分布式、可扩展的特性，可以处理大规模数据。Elasticsearch不仅适用于传统的搜索...
1. ELASTICSEARCH 初识 Elasticsearch（简称ES）是一款基于Lucene的开源分布式搜索引擎，以其强大的全文检索、实时分析和高可扩展性而闻名。它不仅用于传统的搜索功能，还广泛应用于日志分析、监控、物联网(IoT)...
Elasticsearch（简称ES）是一款基于Lucene的开源搜索引擎。它为开发者提供了高效、可靠的搜索和数据分析能力，支持多种数据类型的实时索引与搜索。 **1.2 入门指南** - **1.2.1 初识ES** - Elasticsearch是一个...
第五阶段： 初识⼤数据 1. 难易程度：三颗星 2. 课时量（技术知识点+阶段项⽬任务+综合能⼒）：80课时 3. 主要技术包括：⼤数据前篇（什么是⼤数据，应⽤场景，如何学习⼤数据库，虚拟机概念和安装等）、Linux常见...