`
kidiaoer
  • 浏览: 824783 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

用Lucene检索数据库

阅读更多
用Lucene检索数据库
1.写一段传统的JDBC程序,讲每条的用户信息从数据库读取出来
2.针对每条用户记录,建立一个lucene document
Document doc = new Document();
并根据你的需要,将用户信息的各个字段对应luncene document中的field 进行添加,如:
doc.add(new Field("NAME","USERNAME",Field.Store.YES,Field.Index.UN_TOKENIZED));
然后将该条doc加入到索引中, 如: luceneWriter.addDocument(doc);
这样就建立了lucene的索引库
3.编写对索引库的搜索程序(看lucene文档),通过对lucene的索引库的查找,你可以快速找到对应记录的ID
4.通过ID到数据库中查找相关记录
用Lucene索引数据库

Lucene,作为一种全文搜索的辅助工具,为我们进行条件搜索,无论是像Google,Baidu之类的搜索引擎,还是论坛中的搜索功能,还是其它 C/S架构的搜索,都带来了极大的便利和比较高的效率。本文主要是利用Lucene对MS Sql Server 2000进行建立索引,然后进行全文索引。至于数据库的内容,可以是网页的内容,还是其它的。本文中数据库的内容是图书馆管理系统中的某个作者表- Authors表。
  因为考虑到篇幅的问题,所以该文不会讲的很详细,也不可能讲的很深。
  本文以这样的结构进行:
  1.介绍数据库中Authors表的结构
  2.为数据库建立索引
  3.为数据库建立查询功能
  4.在web界面下进行查询并显示结果
  1.介绍数据库中Authors表的结构

字段名称         字段类型         字段含义
Au_id                Varchar(11)    作者号
Au_name        Varchar(60)     作者名
Phone             Char(12)           电话号码
Address          Varchar(40)      地址
City                   Varchar(20)     城市
State                Char(2)             省份
Zip                    Char(5)             邮编
contract            Bit(1)                外键(关系不大)


表中的部分内容:
  2.为数据库建立索引
  首先建立一个类TestLucene.java。这个类就是对数据库进行建立索引,编写查询条件等。
  当然,最开始就是建立数据库连接。连接代码这里就省略了。^_^
  接着,新建一个方法getResutl(String),它返回的是数据库表Authors的内容。具体代码如下:


    public ResultSet getResult(String sql){
      try{
        Statement stmt = conn.createStatement();
        ResultSet rs = stmt.executeQuery(sql);
        return rs;
      }
      catch(SQLException e){
        System.out.println(e);
      }
      return null;
    }


  然后,为数据库建立索引。
  首先要定义一个IndexWriter(),它是将索引写进Lucene自己的数据库中,它存放的位置是有你自己定义的。在定义 IndexWriter 是需要指定它的分析器。Lucene自己自带有几个分析器,例如:StandarAnalyzer(),SimpleAnalyzer(), StopAnalyzer()等。它作用是对文本进行分析,判断如何进行切词。
接着,要定义一个Document。Document相当于二维表中一行数据一样。Document里包含的是Field字段,Field相当于数据库中一列,也就是一个属性,一个字段。
最后应该对IndexWriter进行优化,方法很简单,就是writer.optimize().
具体代码如下:

  public void Index(ResultSet rs){
      try{
        IndexWriter writer = new IndexWriter("d:/index/", getAnalyzer(), true);
        while(rs.next()){
            Document doc=new Document();
            doc.add(Field.Keyword("id",rs.getString("au_id")));
            doc.add(Field.Text("name",rs.getString("au_name")));
            doc.add(Field.UnIndexed("address",rs.getString("address")));
            doc.add(Field.UnIndexed("phone",rs.getString("phone")));
            doc.add(Field.Text("City",rs.getString("city")));
            writer.addDocument(doc);
          }
        writer.optimize();
        writer.close();
      }
      catch(IOException e){
        System.out.println(e);
      }
      catch(SQLException e){
        System.out.println(e);
      }
    } 
    public Analyzer getAnalyzer(){
      return new StandardAnalyzer();
    }


  3.为数据库建立查询功能
  在类TestLucene中建立一个新的方法searcher(String),它返回的是一个搜索的结构集,相当于数据库中的ResultSet一样。它代的参数是你要查询的内容。这里,我把要查询的字段写死了。你可以在添加一个参数表示要查询的字段。
这里主要有两个对象IndexSearcher和Query。IndexSearcher是找到索引数据库,Query是处理搜索,它包含了三个参数:查询内容,查询字段,分析器。
具体代码如下:
  public Hits seacher(String queryString){
      Hits hits=null;;
      try{
        IndexSearcher is = new IndexSearcher("D:/index/");
        Query query=QueryParser.parse(queryString,"City",getAnalyzer());
        hits=is.search(query);
      }catch(Exception e){
        System.out.print(e);
      }
      return hits;
    }

  4.在web界面下进行查询并显示结果
  这里建立一个Jsp页面TestLucene.jsp进行搜索。
  在TestLucene.jsp页面中首先引入类
<%@ page import="lucenetest.LucentTest"%>
<%@ page import="org.apache.lucene.search.*,org.apache.lucene.document.*" %> 
  然后定义一个LuceneTest对象,获取查询结果集:

  LucentTest lucent=new LucentTest();
  Hits hits=lucent.seacher(request.getParameter("queryString"));

  定义一个Form,建立一个查询环境:

<form action="TestLucene.jsp">
  <input  type="text" name="queryString"/>
  <input type="submit" value="搜索"/>
</form>

  显示查询结果:

<table>
  <%if(hits!=null){%>
  <tr>
    <td>作者号</td>
    <td>作者名</td>
    <td>地址</td>
    <td>电话号码</td>
  </tr> 
 <% for(int i=0;i<hits.length();i++){
    Document doc=hits.doc(i);
   %>
    <tr>
    <td><%=doc.get("id") %></td>
    <td><%=doc.get("name") %></td>
    <td><%=doc.get("address") %></td>
    <td><%=doc.get("phone") %></td>
  </tr>
 <% }}%>
</table>


用Lucene-1.3-final为网站数据库建立索引
下是看了lnboy写的《用lucene建立大富翁论坛的全文检索》后写的测试代码。
 
为数据库cwb.mdb建立全文索引的indexdb.jsp
<%@ page import ="org.apache.lucene.analysis.standard.*" %>   
<%@ page import="org.apache.lucene.index.*" %>  
<%@ page import="org.apache.lucene.document.*" %>  
<%@ page import="lucene.*" %>  
<%@ page contentType="text/html; charset=GBK" %>  
<%  
      long start = System.currentTimeMillis();  
      String aa=getServletContext().getRealPath("/")+"index";     
      IndexWriter writer = new IndexWriter(aa, new StandardAnalyzer(), true);  
    try {  
      Class.forName("sun.jdbc.odbc.JdbcOdbcDriver").newInstance(); 
 String url = "jdbc:odbc:driver={Microsoft Access Driver (*.mdb)}
       ;DBQ=d:\\Tomcat 5.0\\webapps\\zz3zcwbwebhome\\WEB-INF\\cwb.mdb";  
      Connection conn = DriverManager.getConnection(url);  
      Statement stmt = conn.createStatement();  
      ResultSet rs = stmt.executeQuery(  
          "select Article_id,Article_name,Article_intro from Article");  
      while (rs.next()) {  
             writer.addDocument(mydocument.Document(rs.getString("Article_id"),
                rs.getString("Article_name"),rs.getString("Article_intro")));  
      }  
      rs.close();  
      stmt.close();  
      conn.close();  
   
      out.println("索引创建完毕");     
      writer.optimize();  
      writer.close();  
      out.print(System.currentTimeMillis() - start);  
      out.println(" total milliseconds");  

    }  
    catch (Exception e) {  
      out.println(" 出错了 " + e.getClass() +  
                         "\n 错误信息为: " + e.getMessage());  
    }  
 %>  

用于显示查询结果的aftsearch.jsp  
<%@ page import="org.apache.lucene.search.*" %>  
<%@ page import="org.apache.lucene.document.*" %>  
<%@ page import="lucene.*" %>  
<%@ page import = "org.apache.lucene.analysis.standard.*" %>   
<%@ page import="org.apache.lucene.queryParser.QueryParser" %>  
<%@ page contentType="text/html; charset=GBK" %>  
<%  
    String keyword=request.getParameter("keyword");  
     keyword=new String(keyword.getBytes("ISO8859_1"));   
      out.println(keyword);  
   try {  
       String aa=getServletContext().getRealPath("/")+"index";     
      Searcher searcher = new IndexSearcher(aa);  
      Query query = QueryParser.parse(keyword, "Article_name", new StandardAnalyzer());  
      
      out.println("正在查找: " + query.toString("Article_name")+"<br>");  
      Hits hits = searcher.search(query);  
      System.out.println(hits.length() + " total matching documents");  
      java.text.NumberFormat format = java.text.NumberFormat.getNumberInstance();  
      for (int i = 0; i < hits.length(); i++) {  
        //开始输出查询结果  
        Document doc = hits.doc(i);  
        out.println(doc.get("Article_id"));  
        out.println("准确度为:" + format.format(hits.score(i) * 100.0) + "%");  
        out.println(doc.get("Article_name")+"<br>");  
       // out.println(doc.get("Article_intro"));  
      }  
    }catch (Exception e) {  
      out.println(" 出错了 " + e.getClass() +"\n 错误信息为: " + e.getMessage());  
    }  
%>  

辅助类:  
package lucene;  
import org.apache.lucene.document.Document;  
import org.apache.lucene.document.Field;  
import org.apache.lucene.document.DateField;  

public class mydocument {  
public static Document Document(String Article_id,String Article_name,String Article_intro){  
     Document doc = new Document();  
      doc.add(Field.Keyword("Article_id", Article_id));  
      doc.add(Field.Text("Article_name", Article_name));  
      doc.add(Field.Text("Article_intro", Article_intro));  
      return doc;  
  }  
  public mydocument() {  
  }  
} 

用lucene为数据库搜索建立增量索引
用 lucene 建立索引不可能每次都重新开始建立,而是按照新增加的记录,一次次的递增
建立索引的IndexWriter类,有三个参数
IndexWriter writer = new IndexWriter(path, new StandardAnalyzer(),isEmpty);

其中第三个参数是bool型的,指定它可以确定是增量索引,还是重建索引.
对于从数据库中读取的记录,譬如要为文章建立索引,我们可以记录文章的id号,然后下次再次建立索引的时候读取存下的id号,从此id后往下继续增加索引,逻辑如下.

建立增量索引,主要代码如下
public void createIndex(String path)
{
     Statement myStatement = null;
     String articleId="0";
     //读取文件,获得文章id号码,这里只存最后一篇索引的文章id
    try { 
        FileReader fr = new FileReader("**.txt");
        BufferedReader br = new BufferedReader(fr);                 
        articleId=br.readLine();
        if(articleId==null||articleId=="")
        articleId="0";
        br.close();
        fr.close(); 
      } catch (IOException e) { 
        System.out.println("error343!");
        e.printStackTrace();
      }
    try {
        //sql语句,根据id读取下面的内容
        String sqlText = "*****"+articleId;
        myStatement = conn.createStatement();
        ResultSet rs = myStatement.executeQuery(sqlText);
       //写索引
        while (rs.next()) {
         Document doc = new Document();
         doc.add(Field.Keyword("**", DateAdded));
         doc.add(Field.Keyword("**", articleid));
         doc.add(Field.Text("**", URL));    
         doc.add(Field.Text("**", Content));
         doc.add(Field.Text("**", Title));    
         try{
            writer.addDocument(doc);
          }
          catch(IOException e){
            e.printStackTrace();
         }
           //将我索引的最后一篇文章的id写入文件
          try { 
           FileWriter fw = new FileWriter("**.txt");
           PrintWriter out = new PrintWriter(fw);    
           out.close();
           fw.close();
           } catch (IOException e) { 
             e.printStackTrace();
           }
         }
            ind.Close();
            System.out.println("ok.end");
         }
         catch (SQLException e){
            e.printStackTrace();
        }
        finally {
            //数据库关闭操作
        }        
    }

然后控制是都建立增量索引的时候根据能否都到id值来设置IndexWriter的第三个参数为true 或者是false
 boolean isEmpty = true;
 try { 
    FileReader fr = new FileReader("**.txt");
    BufferedReader br = new BufferedReader(fr);                 
    if(br.readLine()!= null) {
        isEmpty = false;
     }
     br.close();
     fr.close(); 
    } catch (IOException e) { 
       e.printStackTrace();
  }
            
  writer = new IndexWriter(Directory, new StandardAnalyzer(),isEmpty);


  


  
分享到:
评论

相关推荐

    用Lucene检索数据库.doc

    用Lucene检索数据库 Lucene是一种全文搜索的辅助工具,可以对数据库进行全文搜索,为我们带来了极大的便利和比较高的效率。本文主要是利用Lucene对MS Sql Server 2000进行建立索引,然后进行全文索引。下面将详细...

    Lucene检索数据库支持中文检索

    ### Lucene检索数据库支持中文检索 #### 一、Lucene简介与原理 ##### 1. Lucene概述 Lucene是一款高性能、全功能的文本搜索引擎库,由Java编写而成。其核心功能是为开发者提供构建搜索应用程序的基础框架。Lucene...

    Lucene检索数据库支持中文检索.doc

    《Lucene检索数据库支持中文检索》 Lucene是一个开源的全文检索库,它提供了强大的文本搜索功能,包括索引创建和搜索索引两个主要部分。在版本3.0.2中,Lucene已经能够很好地支持中文检索,这对于中文信息的处理...

    使用lucene全文检索数据库

    **使用Lucene全文检索数据库** Lucene是一个高性能、全文本搜索库,由Apache软件基金会开发。它是Java编写的,能够帮助开发者在各种应用程序中实现强大的全文检索功能。在这个项目中,我们将探讨如何利用Lucene ...

    lucene对数据库操作

    然而,Lucene可以与数据库结合使用,以实现高效的全文搜索和索引。在这个主题中,我们将深入探讨如何利用Lucene对数据库中的数据进行索引和查询。 首先,我们需要理解Lucene的工作原理。Lucene通过分析文本,将其...

    一种基于Lucene检索引擎的全文数据库的研究与实现

    ### 一种基于Lucene检索引擎的全文数据库的研究与实现 #### 1. 引言 随着信息技术的飞速发展和互联网的普及,大量的文本信息被数字化存储,这为信息检索带来了前所未有的挑战和机遇。传统的数据库管理系统(DBMS)...

    Lucene与关系型数据库对比

    Lucene由Doug Cutting创建,于2001年加入Apache软件基金会的Jakarta项目组,是一款用Java编写的开源全文检索引擎工具包。尽管Lucene本身并非一个完整的全文检索引擎,但它提供了完整的查询引擎和索引引擎,以及基础...

    lucene 全文检索数据库

    标题和描述中提到的知识点是关于Lucene全文检索数据库的应用示例,特别是在处理大量数据和多表查询时的性能优化。下面将详细阐述Lucene的基本概念、如何在Java环境中使用Lucene进行全文检索,以及结合MySQL数据库的...

    lucene与数据库连接进行查询

    在某些场景下,我们需要结合 Lucene 的全文检索能力和数据库的数据存储能力,来实现更复杂的查询需求。 在这个"lucene与数据库连接进行查询"的主题中,我们主要探讨如何将 Lucene 与 JDBC(Java Database ...

    lucene检索数据库

    这种方式极大地提高了查询效率,尤其在数据量大的情况下,相比于直接通过JDBC查询数据库,使用Lucene进行检索具有显著优势。同时,由于Lucene支持多种分析器,可以根据实际需求调整分词策略,进一步提升搜索的精确性...

    用lucene对数据库建立索引及搜索

    **使用Lucene对数据库建立索引及搜索** Lucene是一个高性能、可伸缩的信息检索库,它是Apache软件基金会的顶级项目之一。它提供了一个简单但功能强大的API,用于在各种数据源上创建全文搜索引擎,包括数据库。在本...

    lucene 数据库

    《lucene检索数据库.doc》则聚焦于Lucene如何与数据库结合使用。文档中探讨了如何将数据库中的数据导入Lucene索引,以及如何在查询时结合数据库进行高效的数据检索。这对于那些需要处理大量结构化数据的应用来说,是...

Global site tag (gtag.js) - Google Analytics