`
twh1224
  • 浏览: 95992 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

关于lucene2.0的创建、检索和删除功能的完整实现

阅读更多
最近要做一个站内的全文检索功能,主要是针对clob字段的,于是去网上找了点lucene的资料,现在新版本的是2.0.0,网上的例子多是1.4.3的,有些方法已经废弃了,搞了n久终于把2.0.0的功能实现了,呵呵,下面把实现的代码贴出来,实现了索引的创建、检索和删除功能,并可以从检索结果去查询数据库~ 

  // 创建索引

    public void indexFiles() {

        // 创建索引文件存放路径

        File indexDir = new File("E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index");



        try {

            Date start = new Date();

            // 创建分析器,主要用于从文本中抽取那些需要建立索引的内容,把不需要参与建索引的文本内容去掉.

            // 比如去掉一些a the之类的常用词,还有决定是否大小写敏感.

            StandardAnalyzer standardAnalyzer = new StandardAnalyzer();

            // 参数true用于确定是否覆盖原有索引的

            IndexWriter indexWriter = new IndexWriter(indexDir, standardAnalyzer, true);

            indexWriter.setMergeFactor(100);

            indexWriter.setMaxBufferedDocs(100);

            // 只索引这个Field的前5000个字,默认为10000

            indexWriter.setMaxFieldLength(5000);

            // 从数据库取出所有纪录

            List articleList = articleManager.getArticles(null);

            for (int i = 0; i < articleList.size(); i++) {

                Article article = (Article) articleList.get(i);

                // 在Document方法是创建索引的具体代码

                Document doc = Document(article);

                indexWriter.addDocument(doc);

            }

            // Optimize的过程就是要减少剩下的Segment的数量,尽量让它们处于一个文件中.

            indexWriter.optimize();

            indexWriter.close();

            Date end = new Date();

            System.out.println("create index: " + (end.getTime() - start.getTime()) + " total milliseconds");

        } catch (IOException e) {

            System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());

        }

    }

    public static Document Document(Article article)

            throws java.io.IOException {

        Document doc = new Document();

        // 为article表的主健创建索引,关于Field的几个参数下面有详细解释

        Field fieldId = new Field("uid", article.getArticleId(), Field.Store.YES, Field.Index.UN_TOKENIZED, Field.TermVector.YES);

        // 为detail字段创建索引,detail在DB中是clob字段,内容为html文本

        String contentHtml = article.getDetail();

        Reader read = new StringReader(contentHtml);

        // 用HTMLParser把detail字段中的HTML分析成文本在索引

        // HTMLParser这个类可以在lucene的demo中找到

        HTMLParser htmlParser = new HTMLParser(read);

        BufferedReader breader = new BufferedReader(htmlParser.getReader());

        String htmlContent ="";

        String tempContent = breader.readLine();

        while (tempContent != null && tempContent.length() > 0) {

            htmlContent = htmlContent + tempContent;

            tempContent = breader.readLine();

        }

        Field fieldContents = new Field("content", htmlContent,

                Field.Store.COMPRESS, Field.Index.TOKENIZED,Field.TermVector.YES);

        // db中的每条纪录对应一个doc,每个字段对应一个field

        doc.add(fieldId);

        doc.add(fieldContents);

        return doc;

    }

    // 搜索文件,keyword是你在页面上输入的查找关键字,这里查找的是detail字段

    public List searchFiles(String keyword){

        String index = "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";

        // hitsList用来保存db的纪录,这些纪录可以通过查询结果取到

        List hitsList = new ArrayList();

        try {

            Date start = new Date();

            IndexReader reader = IndexReader.open(index);

            Searcher searcher = new IndexSearcher(reader);

            Analyzer analyzer = new StandardAnalyzer();

            QueryParser parser = new QueryParser("content", analyzer);

            // 解析查询关键字,比如输入的是以空格等分开的多个查询关键字,这里解析后,可以多条件查询

            Query query = parser.parse(keyword);

            // hits用来保存查询结果,这里的hits相当于sql中的result

            Hits hits = searcher.search(query);

            for (int i = 0; i < hits.length(); i++) {

                Document doc = hits.doc(i);

                // 获得article表的主健

                String id = doc.get("uid");

                // 根据主健去db中取纪录,返回到hitsList中

                try {

                    Article article = articleManager.getArticle(id);

                } catch (ObjectRetrievalFailureException e) {

                    article = null;

                }

                       // 如果没有找到该纪录,表示该纪录已经不存在,不必添加到hitsList中

                if(article!=null)  hitsList.add(article);

            }

            searcher.close();

            reader.close();

            Date end = new Date();

            System.out.println("search files: " + (end.getTime() - start.getTime()) + " total milliseconds");

        } catch (IOException e) {

            System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());

        } catch (ParseException e) {

            System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());

        }

        return hitsList;

    }

    // 删除索引

    public void deleteIndex(){

        String index = "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";

        try {

            Date start = new Date();

            IndexReader reader = IndexReader.open(index);

            int numFiles = reader.numDocs();

            for (int i = 0; i < numFiles; i++) {

                // 这里的删除只是给文档做一个删除标记,你可以看到执行deleteDocument后会产生一个del后缀的文件,

                // 用来记录这些标记过的文件

                reader.deleteDocument(i);

            }

            reader.close();

            Date end = new Date();

            System.out.println("delete index: " + (end.getTime() - start.getTime()) + " total milliseconds");

        } catch (IOException e) {

            System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());

        }



    }

    // 恢复已删除的索引

    public void unDeleteIndex(){

        String index = "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";

        try {

            IndexReader reader = IndexReader.open(index);

            reader.undeleteAll();

            reader.close();

        } catch (IOException e) {

            System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());

        }



}



Field就像我们学过的数据库中的字段,简单的说,就是一个名值对。这个域有三种属性,分别是

isStored - 是否被存储
isIndexed - 是否被索引
isTokenized - 是否分词

这些属性的组合又构成了四种不同类型的Field,而且各有用途


Stored
Indexed
Tokenized

Keyword
Y
Y
N

UnIndexed
Y
N
N

UnStored
N
Y
Y

Text: String
Y
Y
Y

Text : Reader
N
Y
Y




关于Field,2.0.0版本和1.4.3版本方法相比改动比较大,具体见下表



1.4.3版本中的下面方法都被Field(String name, String value, Store store, Index index, TermVector termVector)取代

Keyword(String name, String value) // only version 1.4.3
存储、索引、不分词,用于URI(比如MSN聊天记录的日期域、比如MP3文件的文件全路径等等)
Field(String name, String value, Field.Store.YES, Field.Index.UN_TOKENIZED) // version 2.0.0

UnIndexed(String name, String value) // only version 1.4.3
存储、不索引、不分词,比如文件的全路径
Field(String name, String value,Field.Store.YES, Field.Index.NO) // version 2.0.0

UnStored(String name, String value) // only version 1.4.3
不存储、索引、分词,比如HTML的正文、Word的内容等等,这部分内容是要被索引的,但是由于具体内容通常很大,没有必要再进行存储,可以到时候根据URI再来挖取。所以,这部分只分词、索引,而不存储。
Field(String name, String value,Field.Store.YES, Field.Index.TOKENIZED)// version 2.0.0

Text(String name, String value) // only version 1.4.3
存储、索引、分词,比如文件的各种属性,比如MP3文件的歌手、专辑等等。Field.Store.YES, Field(String name, String value,Field.Index.TOKENIZED)// version 2.0.0

Text(String name, Reader value) // only version 1.4.3

Field(String name, Reader reader)  // version 2.0.0
不存储、索引、分词。


本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/xiaodaoxiaodao/archive/2006/09/10/1203959.aspx
分享到:
评论

相关推荐

    Lucene.2.0.API

    8. **高级功能**:包括倒排索引的优化(`MergePolicy`)、多字段查询、近实时搜索(NRT,Near Real Time)等,这些都极大地增强了Lucene的功能和性能。 Lucene 2.0虽然较旧,但其核心概念和机制在后续版本中仍被...

    Lucene2.0+Nutch0.8 API帮助文档(CHM格式)

    《Lucene2.0+Nutch0.8 API帮助文档》是一个综合性的技术资源,它包含了对Lucene 2.0和Nutch 0.8这两个关键的开源搜索引擎库的详细接口和功能说明。这两个组件在信息检索、全文搜索以及网络爬虫领域有着广泛的应用。 ...

    【大搜集:lucene学习资料】---<下载不扣分,回帖加1分,欢迎下载,童叟无欺>

    基于Java的全文索引引擎.doc lucene测试代码.txt lucene为数据库搜索建立增量索引.txt lucene数据库索引.txt 新闻系统全文检索的思绪.txt ... 关于lucene2.0的创建、检索和删除功能的完整实现.doc weblucene.txt

    Lucene.net 2.0源码

    5. **更新与删除**:Lucene.NET 2.0 支持对已索引的文档进行更新和删除操作,这在动态数据环境中尤其重要。 6. **多线程与性能优化**:Lucene.NET 2.0 支持多线程索引和搜索,可以在多核处理器上充分利用硬件资源,...

    开发自己的搜索引擎--Lucene 2.0+Heritrix(爬虫)

    本主题将深入探讨如何利用开源工具Lucene 2.0和Heritrix来创建一个完整的搜索解决方案。 Lucene是Apache软件基金会的一个项目,是一个高性能、全文本搜索库。它提供了一个简单但功能强大的API,可以用于索引和搜索...

    lucene.net 2.9.2 实现索引生成,修改,查询,删除实例

    在这个实例中,我们将深入探讨如何使用Lucene.NET 2.9.2来实现索引的生成、修改、查询和删除。 **一、索引生成** 首先,我们需要创建一个索引,这是全文检索的基础。在Lucene.NET中,我们通常会定义一个文档类,...

    lucene3.0全文检索入门实例

    本文将重点介绍如何使用 Lucene 3.0 实现全文检索的基本步骤,以及与前一版本 Lucene 2.0 的主要区别。 **1. 安装与环境配置** 首先,你需要下载 Lucene 3.0 的发行版,并将其添加到你的项目类路径中。确保你的开发...

    lucene学习资料

    2. **关于lucene2.0的创建、检索和删除功能的完整实现.doc** Lucene 2.0版本的教程,可能讲解了如何利用Lucene API实现文档的索引创建、查询检索和文档删除操作。这涵盖了Lucene的核心功能,对于初学者是很好的实践...

    lucene-core-2.9.2.jar

    Lucene提供了一个强大的API,使得开发者能够对文本进行索引和搜索,支持布尔逻辑、短语搜索、近似搜索、通配符搜索等多种高级查询功能。 二、lucene-core-2.9.2.jar详解 1. 模型与数据结构:Lucene的核心库主要...

    Apache-Lucene.Net-3.0.3-RC2.bin

    1. **索引和搜索**:Lucene.Net的核心功能在于创建和搜索全文索引。它支持快速、高效的全文检索,可以处理大量数据,并提供了布尔查询、短语查询、模糊查询等多种搜索方式。 2. **分析器(Analyzer)**:负责将输入...

    Lucene.net2.1

    开发者可以通过官方文档、教程和社区讨论来深入理解全文检索原理,进阶到更现代的版本,如Lucene.NET 4.x或更高版本,以获取更多功能和性能优化。 通过学习和实践Lucene.NET 2.1,你可以掌握全文检索的核心技术,为...

    php+elastic2.0

    常见的有`elasticsearch-php`官方客户端,它提供了完整的API来执行CRUD(创建、读取、更新、删除)操作,搜索、索引管理和集群监控等功能。安装这个库通常通过Composer进行: ```bash composer require elastic...

    HubbleDotNet 全文检索

    - **缓存与内存管理**:为了提高检索效率,HubbleDotNet 实现了三级缓存机制:索引级别缓存、查询级别缓存和数据级别缓存。这些缓存设计有助于提升查询速度和降低系统负载。此外,内存管理策略也确保了系统的稳定性...

    搜索引擎

    Lucene.NET是一个基于Apache License 2.0的开放源代码全文搜索引擎库,它提供了一个简单但功能强大的API来构建搜索引擎。Lucene.NET处理文本分析、索引创建、文档存储、搜索算法等一系列复杂任务,使得开发者能够...

    介绍Lucene.Net

    总结来说,Lucene.Net 是 .NET 开发者实现全文搜索功能的强大工具,通过熟练掌握其 API 和原理,可以创建出高性能、易维护的搜索系统。通过阅读《Introducing-Lucene-Net.pdf》这样的资料,开发者可以深入了解其用法...

    Elasticsearch 技术解析与实践

    - **开源与免费**:Elasticsearch基于Apache License 2.0发布,用户可以自由地使用、修改和分发它。 - **分布式架构**:Elasticsearch能够自动地将数据分布到多台服务器上,实现水平扩展。 - **RESTful API**:提供...

    微信公众平台应用开发:方法、技巧与案例.(机械工业.柳峰)

     11.2.6 案例:使用Lucene索引和检索 291  11.3 中文分词 296  11.3.1 中文分词方法 296  11.3.2 IK分词器的使用 297  11.4 索引浏览器Luke 299  11.4.1 Luke的功能及下载 299  11.4.2 Luke的用法 300...

    基于Java的实例源码-客户管理系统 Alfresco Content Management.zip

    开发者可以通过Java Content Repository (JCR) API来操作这些内容模型,实现对内容的创建、读取、更新和删除操作。 此外,Alfresco的工流引擎基于Activiti,一个开源BPMN 2.0兼容的工作流引擎。这使得Alfresco能够...

Global site tag (gtag.js) - Google Analytics