`
junjie314
  • 浏览: 60275 次
  • 性别: Icon_minigender_1
  • 来自: 宁波
文章分类
社区版块
存档分类
最新评论

lucene2_0创建、检索和删除功能的完整实现

阅读更多

// 创建索引

    public void indexFiles() {
        // 创建索引文件存放路径
        File indexDir = new File("E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index");
        try {
            Date start = new Date();
            // 创建分析器,主要用于从文本中抽取那些需要建立索引的内容,把不需要参与建索引的文本内容去掉.
            // 比如去掉一些a the之类的常用词,还有决定是否大小写敏感.
            StandardAnalyzer standardAnalyzer = new StandardAnalyzer();
            // 参数true用于确定是否覆盖原有索引的
            IndexWriter indexWriter = new IndexWriter(indexDir, standardAnalyzer, true);
            indexWriter.setMergeFactor(100);
            indexWriter.setMaxBufferedDocs(100);
            // 只索引这个Field的前5000个字,默认为10000
            indexWriter.setMaxFieldLength(5000);
            // 从数据库取出所有纪录
            List articleList = articleManager.getArticles(null);
            for (int i = 0; i < articleList.size(); i++) {
                Article article = (Article) articleList.get(i);
                // Document方法是创建索引的具体代码
                Document doc = Document(article);
                indexWriter.addDocument(doc);
            }
            // Optimize的过程就是要减少剩下的Segment的数量,尽量让它们处于一个文件中.
            indexWriter.optimize();
            indexWriter.close();
            Date end = new Date();
            System.out.println("create index: " + (end.getTime() - start.getTime()) + " total milliseconds");
        } catch (IOException e) {
            System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());
        }
    }
    public static Document Document(Article article) throws java.io.IOException {
        Document doc = new Document();
        // article表的主健创建索引,关于Field的几个参数下面有详细解释
        Field fieldId = new Field("uid", article.getArticleId(), Field.Store.YES, Field.Index.UN_TOKENIZED,
                            Field.TermVector.YES);
        // detail字段创建索引,detailDB中是clob字段,内容为html文本
        String contentHtml = article.getDetail();
        Reader read = new StringReader(contentHtml);
        // HTMLParserdetail字段中的HTML分析成文本在索引
        // HTMLParser这个类可以在lucenedemo中找到
        HTMLParser htmlParser = new HTMLParser(read);
        BufferedReader breader = new BufferedReader(htmlParser.getReader());
        String htmlContent ="";
        String tempContent = breader.readLine();
        while (tempContent != null && tempContent.length() > 0) {
            htmlContent = htmlContent + tempContent;
            tempContent = breader.readLine();
        }
        Field fieldContents = new Field("content", htmlContent,
                Field.Store.COMPRESS, Field.Index.TOKENIZED,Field.TermVector.YES);
        // db中的每条纪录对应一个doc,每个字段对应一个field
        doc.add(fieldId);
        doc.add(fieldContents);
        return doc;
    }
    // 搜索文件,keyword是你在页面上输入的查找关键字,这里查找的是detail字段
    public List searchFiles(String keyword){
        String index = "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";
        // hitsList用来保存db的纪录,这些纪录可以通过查询结果取到
        List hitsList = new ArrayList();
        try {
            Date start = new Date();
            IndexReader reader = IndexReader.open(index);
            Searcher searcher = new IndexSearcher(reader);
            Analyzer analyzer = new StandardAnalyzer();
            QueryParser parser = new QueryParser("content", analyzer);
            // 解析查询关键字,比如输入的是以空格等分开的多个查询关键字,这里解析后,可以多条件查询
            Query query = parser.parse(keyword);
            // hits用来保存查询结果,这里的hits相当于sql中的result
            Hits hits = searcher.search(query);
            for (int i = 0; i < hits.length(); i++) {
                Document doc = hits.doc(i);
                // 获得article表的主健
                String id = doc.get("uid");
                // 根据主健去db中取纪录,返回到hitsList
                try {
                    Article article = articleManager.getArticle(id);
                } catch (ObjectRetrievalFailureException e) {
                    article = null;
                }
                      // 如果没有找到该纪录,表示该纪录已经不存在,不必添加到hitsList
                if(article!=null) hitsList.add(article);
            }
            searcher.close();
            reader.close();
            Date end = new Date();
            System.out.println("search files: " + (end.getTime() - start.getTime()) + " total milliseconds");
        } catch (IOException e) {
            System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());
        } catch (ParseException e) {
            System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());
        }
        return hitsList;
    }
    // 删除索引
    public void deleteIndex(){
        String index = "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";
        try {
            Date start = new Date();
            IndexReader reader = IndexReader.open(index);
            int numFiles = reader.numDocs();
            for (int i = 0; i < numFiles; i++) {
                // 这里的删除只是给文档做一个删除标记,你可以看到执行deleteDocument后会产生一个del后缀的文件,
                // 用来记录这些标记过的文件
                reader.deleteDocument(i);
            }
            reader.close();
            Date end = new Date();
            System.out.println("delete index: " + (end.getTime() - start.getTime()) + " total milliseconds");
        } catch (IOException e) {
            System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());
        }
    }
    // 恢复已删除的索引
    public void unDeleteIndex(){
        String index = "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";
        try {
            IndexReader reader = IndexReader.open(index);
            reader.undeleteAll();
            reader.close();
        } catch (IOException e) {
            System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());
        }
}
Field就像我们学过的数据库中的字段,简单的说,就是一个名值对。这个域有三种属性,分别是
isStored - 是否被存储
isIndexed -
是否被索引
isTokenized -
是否分词
这些属性的组合又构成了四种不同类型的Field,而且各有用途

Stored
Indexed
Tokenized
Keyword
Y
Y
N
UnIndexed
Y
N
N
UnStored
N
Y
Y
Text: String
Y
Y
Y
Text : Reader
N
Y
Y

关于Field2.0.0版本和1.4.3版本方法相比改动比较大,具体见下表
1.4.3版本中的下面方法都被Field(String name, String value, Store store, Index index, TermVector termVector)取代
Keyword(String name, String value) // only version 1.4.3
存储、索引、不分词,用于URI(比如MSN聊天记录的日期域、比如MP3文件的文件全路径等等)
Field(String name, String value,
Field.Store.YES, Field.Index.UN_TOKENIZED) // version 2.0.0
UnIndexed(String name, String value) // only version 1.4.3
存储、不索引、不分词,比如文件的全路径
Field(String name, String value,
Field.Store.YES, Field.Index.NO)// version 2.0.0
UnStored(String name, String value) // only version 1.4.3
不存储、索引、分词,比如HTML的正文、Word的内容等等,这部分内容是要被索引的,但是由于具体内容通常很大,没有必要再进行存储,可以到时候根据URI再来挖取。所以,这部分只分词、索引,而不存储。
Field(String name, String value,
Field.Store.YES, Field.Index.TOKENIZED)// version 2.0.0
Text(String name, String value) // only version 1.4.3
存储、索引、分词,比如文件的各种属性,比如MP3文件的歌手、专辑等等。Field.Store.YES, Field(String name, String value,Field.Index.TOKENIZED)// version 2.0.0
Text(String name, Reader value) // only version 1.4.3
Field(String name, Reader reader)  // version 2.0.0
不存储、索引、分词。
分享到:
评论

相关推荐

    Lucene.Net_2_1_0.rar

    Lucene.Net就是这样一个工具,它提供了完整的文本分析、索引创建、查询解析和结果排序等功能,帮助开发者构建出高性能的搜索引擎。 在Lucene.Net 2.1.0版本中,有几个关键知识点值得一提: 1. **分词器(Tokenizer...

    Lucene.Net 实现全文检索

    总的来说,Lucene.Net 在 .Net MVC4 上实现全文检索是一个涉及数据库交互、索引构建、查询处理和结果展示的综合过程。通过熟练掌握 Lucene.Net 的使用,可以为用户提供高效、准确的全文搜索体验。

    Lucene.Net_2_9_2.rar

    Lucene.Net是一个开源、高性能的全文检索库,它是Apache Lucene项目在.NET平台上的实现。这个库为开发者提供了一种简单、高效的方式,用于在应用程序中实现强大的搜索功能。在本文中,我们将深入探讨Lucene.Net ...

    Lucene.Net_2_3_1.rar

    2. **添加和更新文档**:索引不是静态的,可以动态地添加、删除或更新文档。 3. **构建查询**:根据用户输入,使用QueryParser构建查询对象。 4. **执行搜索**:使用IndexSearcher执行查询,并获取匹配的Document...

    Lucene.Net_2_9_2 源码

    这些辅助类极大地增强了Lucene.Net的功能和灵活性。 总的来说,Lucene.Net 2.9.2的源码是理解和学习全文检索技术的宝贵资源。通过对源码的研究,开发者不仅可以深入了解搜索算法和数据结构,还能学习如何在.NET环境...

    Lucene.Net_1_4_3_RC3_final

    Lucene.Net_1_4_3_RC3_final是该库的一个稳定版本,提供了对1.4.3版本的所有功能和改进。 **一、Lucene.Net的基本概念** 1. **索引**: 全文检索的核心是建立索引,Lucene.Net通过分析文档内容,将其转换为倒排索引...

    Lucene资料大全(包括Lucene_in_Action书等)

    这是一本广泛认可的关于Apache Lucene的权威指南,通常被简称为LIA,它深入介绍了Lucene搜索引擎库的使用和实现。 描述中的"Lucene资料大全"暗示了这个压缩包可能包含了除书籍之外的其他学习材料,比如教程、PPT或...

    最新全文检索 lucene-5.2.1 入门经典实例

    在5.2.1版本中,Lucene提供了更为高效和强大的搜索功能,为开发者提供了构建搜索引擎的坚实基础。本篇文章将深入探讨Lucene-5.2.1的关键知识点,通过实例解析其工作原理和使用方法。 1. **Lucene核心组件** - **...

    Lucene3.0_pdf

    《Lucene3.0原理与代码分析》是针对搜索引擎库Lucene 3.0版本的一份详尽解析,旨在帮助读者深入理解其内部工作机制和实现细节。Lucene是一款高性能、全文检索库,广泛应用于各类信息检索系统。下面将围绕Lucene的...

    Lucene基于Java的全文检索引擎简介

    Lucene是一个基于Java的全文检索引擎工具包,旨在为各种规模的应用程序提供强大的文本搜索功能。该工具包由Doug Cutting创建,他是全文检索领域的资深专家,曾参与开发V-Twin搜索引擎并曾在Excite担任高级系统架构师...

    Lucene基于java的全文检索案例

    总的来说,"Lucene基于java的全文检索案例" 是一个很好的学习资源,通过它你可以深入了解 Lucene 的工作原理和使用方法,从而在自己的项目中实现高效的全文检索功能。这个案例涵盖了索引生命周期管理、查询构造和...

    Lucene3.0全文信息检索

    **Lucene 3.0 全文信息检索** Lucene 是一个由Apache软件基金会4...随着技术的不断进步,Lucene后续版本继续优化性能和扩展功能,但3.0版本仍然是许多项目的基础,其设计理念和实现方式对于理解全文检索引擎至关重要。

    JAVA_lucene全文检索工具包的理解与使用.rar_java_全文检索

    2. **文档(Document)**:在Lucene中,文档是存储和检索的基本单位,可以包含多个字段(Field),如标题、内容、作者等。每个字段都有自己的名称和值,并可以选择是否参与索引和搜索。 3. **字段(Field)**:字段...

    Lucene.Net_1_9_1

    Lucene.Net,作为Apache Lucene项目的一个.NET平台实现,是一个强大的、高性能的全文检索库,为开发者提供了在.NET环境中构建搜索引擎的基础。1.9.1版本是这个库的一个重要里程碑,它在继承了Lucene的优秀特性的同时...

    lucene实现站内检索

    本文将深入探讨如何利用Lucene来构建一个站内检索系统,特别关注其索引和搜索功能,以及如何通过优化提高检索效率。 首先,我们需要了解Lucene的基本工作原理。Lucene通过建立倒排索引来实现全文检索。倒排索引是一...

    java_lucene_in_action教程完整版.rar

    这个教程旨在帮助程序员理解Lucene的核心概念,并提供实践指导,使他们能够有效地利用Lucene创建高效、灵活的搜索功能。 首先,让我们了解一下Lucene的基本概念。Lucene的核心功能包括文本分析、索引构建、查询解析...

    lucene_3.6.1_API

    它允许添加、删除和修改文档,并提供优化索引的功能。`Document`类代表一个待索引的文档,包含多个`Field`,每个Field都有类型,如TextField用于全文搜索,而StringField则不进行分词。 搜索方面,`IndexSearcher`...

    Lucene全文检索案例

    **Lucene 全文检索案例** Lucene 是一个高性能、可扩展的信息检索库,由Apache软件基金会开发。它提供了一个简单但功能强大的...持续学习和实践,你将能更好地掌握Lucene的精髓,实现高效、精准的全文检索解决方案。

    lucene全文检索全面教程

    Lucene是一款由Apache软件基金会开发的开源全文检索库,它为开发者提供了在Java应用程序中实现高性能、可扩展的全文检索功能。本教程将深入探讨Lucene的核心概念、架构和使用方法,帮助你构建自己的全文搜索引擎。 ...

Global site tag (gtag.js) - Google Analytics