Lucene1--初识Lucene

1、全文搜索引擎的意义：
由于数据库索引不是为全文索引设计的，因此，使用like "%keyword%"时，数据库索引是不起作用的
全文检索的思路：将非结构化的一部分信息提取出来->重新组织->变成一定结构的索引->提高搜索速度
2、Lucene的创新之处：
大部分的搜索（数据库）引擎都是用B树结构来维护索引，索引的更新会导致大量的IO操作，Lucene在实现中，对此稍微有所改进：不是维护一个索引文件，而是在扩展索引的时候不断创建新的索引文件，然后定期的把这些新的小索引文件合并到原先的大索引中（针对不同的更新策略，批次的大小可以调整），这样在不影响检索的效率的前提下，提高了索引的效率。
可以进行增量的索引(Append)，可以对于大量数据进行批量索引，并且接口设计用于优化批量索引和小批量的增量索引。
Lucene没有定义具体的数据源，而是一个文档的结构，因此可以非常灵活的适应各种应用（只要前端有合适的转换器把数据源转换成相应结构）
Lucene的文档是由多个字段组成的，甚至可以控制那些字段需要进行索引，那些字段不需要索引，近一步索引的字段也分为需要分词和不需要分词的类型：
需要进行分词的索引，比如：标题，文章内容字段,不需要进行分词的索引，比如：作者/日期字段
3、全文索引工具的组成，都是由三部分组成：
索引部分、分词部分、搜索部分
两段小代码：

package cn.yang;

import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

public class HelloLucene {
  // 建立索引(需要删除原来索引，多次创建索引会重复，为增量索引)
  public void index() throws FileNotFoundException {
    IndexWriter writer = null;
    try {
			// 创建Directory，
			//建立在内存中，优点速度快，缺点程序退出数据就没了
			// Directory directory = new RAMDirectory();
		    //创建索引在硬盘上
			Directory directory = FSDirectory.open(new File("d:/lucene"));
			// 创建IndexWriter  
			//注意： StandardAnalyzer是lucene中内置的“标准分析器”，可以做如下功能:
			//1.对原有句子按照空格进行了分词;所有的大写字母都可以转换为小写的字母;可以去掉一些没有用处的单词，例如"is","the","are"等，也删除了所有的标点
			IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_35,
					new StandardAnalyzer(Version.LUCENE_35));
			//OpenMode.CREATE;OpenMode.APPEND;OpenMode.CREATE_OR_APPEND;
			//存放索引的文件夹将以覆盖或者新建的方式建立。
			//默认情况下不设置该值，新的索引文件将会append到原来索引文件之后，这样会导致索引结果发生错误。
			iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE);

			writer = new IndexWriter(directory, iwc);
			// 创建Document对象
			Document doc = null;
			// 为Document添加Field
			File file = new File("d:/lucene/exp");
			for (File f : file.listFiles()) {
				doc = new Document();
				doc.add(new Field("content", new FileReader(f)));
				doc.add(new Field("filename", f.getName(), Field.Store.YES,Field.Index.NOT_ANALYZED));
				doc.add(new Field("path", f.getAbsolutePath(), Field.Store.YES,Field.Index.NOT_ANALYZED));
				try {
					// 通过IndexWriter添加文档到索引中
					writer.addDocument(doc);
				} catch (Exception e) {
					e.printStackTrace();
				} 
			}
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			if (writer != null)
				try {
					writer.close();
				} catch (Exception e) {
					e.printStackTrace();
				} 
		}
		

	}
	
	public void seacher(){
		try {
			// 创建Directory
			Directory directory = FSDirectory.open(new File("d:/lucene"));		
			// 创建IndexReader
			IndexReader reader = IndexReader.open(directory);
			// 根据IndexWriter创建IndexSearcher
			IndexSearcher seacher = new IndexSearcher(reader);
			// 创建搜索的Query
			QueryParser parser = new QueryParser(Version.LUCENE_35,"content",new StandardAnalyzer(Version.LUCENE_35));
			Query query = parser.parse("yang");//搜索content包含yang的文档
			// 根据seacher搜索并返回TopDocs
			TopDocs tds = seacher.search(query, 10);			
			// 根据TopDocs获取ScoreDoc
			ScoreDoc[] sds = tds.scoreDocs;
			for(ScoreDoc sd: sds){
				// 根据seacher和ScoreDoc对象获取具体的Dcument对象
				Document d = seacher.doc(sd.doc);
				// 根据Dcument对象获取需要的值
				System.out.println(d.get("filename"));
				System.out.println(d.get("path"));
			}		
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
         @Test
	public void testIndex(){
		HelloLucene h = new HelloLucene();
		try {
			h.index();
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		}	
	}
	@Test
	public void testSearch(){
		HelloLucene h = new HelloLucene();
		h.seacher();
	}


}