转 lucene之helloworld入门

Lucene是一个高效的，基于java的全文检索库。

什么叫做全文检索呢？这要从我们生活中的数据说起。

我们生活中的数据总体分为两种：结构化数据和非结构化数据。

结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。

非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等。

当然有的地方还会提到第三种，半结构化数据，如XML，HTML等，当根据需要可按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理。

非结构化数据又一种叫法叫全文数据。

按照数据的分类，搜索也分为两种：

对结构化数据的搜索：如对数据库的搜索，用SQL语句。再如对元数据的搜索，如利用windows搜索对文件名，类型，修改时间进行搜索等。

对非结构化数据的搜索：如利用windows的搜索也可以搜索文件内容，Linux下的grep命令，再如用Google和百度可以搜索大量内容数据。

其实搜索引擎做的两件很重要的事情就是建立索引，和从索引中查找数据。

下面这段代码主要就是将这两个重要部分呈现出来。至于原理以后慢慢道来。

package com.wesley.search;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Date;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.queryParser.ParseException;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.Filter;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;

public class search2 {
public static void main(String[] args) throws Exception {
index();
search("严老大");
}

//索引
public static void index() throws Exception {
File fileDir = new File("D:\\test\\wesley");//该目录类似百度，Google搜索引擎爬虫的入口一样。

//这里放索引文件的位置
File indexDir = new File("D:\\test\\index");
Analyzer luceneAnalyzer = new StandardAnalyzer();// 第二个参数：分析器，对文档关键词进行分词
IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,true);
// 第三个参数：为true时，IndexWriter不管目录内是否已经有索引了，一律清空，重新建立；
//当为false时，则IndexWriter会在原有基础上增量添加索引。所以在更新的过程中，需要设置该值为false。

File[] textFiles = fileDir.listFiles();
long startTime = new Date().getTime();

// 增加document到索引去
for (int i = 0; i < textFiles.length; i++) {
if (textFiles[i].isFile()
&& textFiles[i].getName().endsWith(".txt")) {
System.out.println("File " + textFiles[i].getCanonicalPath()
+ "正在被索引.");
String temp = FileReaderAll(textFiles[i].getCanonicalPath(),
"GBK");
System.out.println(temp);
Document document = new Document();
Field FieldPath = new Field("path", textFiles[i].getPath(),
Field.Store.YES, Field.Index.TOKENIZED);
Field FieldBody = new Field("body", temp, Field.Store.YES,
Field.Index.TOKENIZED);
document.add(FieldPath);
document.add(FieldBody);
indexWriter.addDocument(document);
/* 1、每一个Field文件类似于Map文件，他有一个name和value值。
* value只接受字符串（非字符串类型要先转换成字符串才行）。
         * 2、Field构造函数 public Field(String name, String value, Store store,
         *  Index index, TermVector termVector)
         * 3、Store，指定Field是否或怎样存储。--- Store.NO，不存储。 Store.YES，存储。
         * Store.COMPRESS，压缩后存储
         * 4、Index，指定Field是否或怎么被索引。----Index.NO，不索引（不索引就不能被搜索到）。
         * Index.ANALYZED，分词后索引。Index.NOT_ANALYZED，不分词，
         * 直接索引（把整个Field值做为一个term）。
         */ 

}
}
// optimize()方法是对索引进行优化
indexWriter.optimize();
indexWriter.close();

// 测试一下索引的时间
long endTime = new Date().getTime();
System.out.println("这花费了" + (endTime - startTime) + " 毫秒来把文档增加到索引里面去!"
+ fileDir.getPath());
}

//查找
public static void search(String keyword) throws CorruptIndexException,
IOException {
IndexSearcher indexSearcher = new IndexSearcher("D:\\test\\index");
StandardAnalyzer analyzer = new StandardAnalyzer();
QueryParser queryParser = new QueryParser("body", analyzer);
Filter filter=null;
int n=10;
try {

Query query=queryParser.parse(keyword);
TopDocs docs=indexSearcher.search(query, filter, n);//对搜索结果进行过滤
/* * 查询方法为IndexSearcher.search(Query, Filter, int);
         * Query，查询对象，把用户输入的查询字符串封装成Lucene能够识别的Query。
         * Filter，用来过虑搜索结果。
         * 第三个参数（int类型），最多返回的Document的数量。
         * 返回的是一个TopDocs类型的对象，调用TopDocs.scoreDocs得到查询结果。
         */
System.out.println("搜索到"+docs.totalHits+"条结果");
for (ScoreDoc scoreDoc: docs.scoreDocs) {
int i=scoreDoc.doc;
Document document=indexSearcher.doc(i);
System.out.println(document.getField("body").stringValue());
}

Hits hits = indexSearcher.search(query);//不对搜索结果进行过滤
System.out.println("搜索结果记录:"+hits.length());
for (int i = 0; i < hits.length(); i++) {
String string = hits.doc(i).get("body");
System.out.println(string);
}
} catch (ParseException e) {
e.printStackTrace();
}
}
/**
* 读入文本信息
* */
public static String FileReaderAll(String FileName, String charset)
throws IOException {
BufferedReader reader = new BufferedReader(new InputStreamReader(
new FileInputStream(FileName), charset));
String line = new String();
String temp = new String();

while ((line = reader.readLine()) != null) {
temp += line;
}
reader.close();
return temp;
}
}