Lucene入门

项目建立是使用的maven所以需要建立一个maven项目
具体的pom文件如下

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>com.think3c.com</groupId>
	<artifactId>think3c-lucene</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>think3c-lucene</name>
	<url>http://maven.apache.org</url>

	<properties>
		<lucene.version>5.3.1</lucene.version>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
	</properties>

	<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.10</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-core</artifactId>
			<version>${lucene.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-analyzers-common</artifactId>
			<version>${lucene.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-queryparser</artifactId>
			<version>${lucene.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.lucene</groupId>
			<artifactId>lucene-highlighter</artifactId>
			<version>${lucene.version}</version>
		</dependency>
	</dependencies>
</project>

下边我们使用代码实现一下文件的检索和创建文件的索引

package com.think3c.lucene.index;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.nio.charset.StandardCharsets;
import java.nio.file.FileVisitResult;
import java.nio.file.Files;
import java.nio.file.LinkOption;
import java.nio.file.OpenOption;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.SimpleFileVisitor;
import java.nio.file.attribute.BasicFileAttributes;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.LongField;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.Term;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class IndexUtil {

	/**
	 * 创建索引
	 * 
	 * @param dirPath
	 *            需要读取的文件所在文件目录
	 * @param indexPath
	 *            索引存放的目录文件
	 * @throws IOException
	 */
	public static void createIndex(String dirPath, String indexPath) throws IOException {
		createIndex(dirPath, indexPath, false);
	}

	/**
	 * 创建索引
	 * 
	 * @param dirPath
	 *            需要读取的文件所在文件目录
	 * @param indexPath
	 *            索引存放目录
	 * @param createOrAppend
	 *            始终重建索引/不存在则追加索引
	 * @throws IOException
	 */
	public static void createIndex(String dirPath, String indexPath, boolean createOrAppend) throws IOException {
		long start = System.currentTimeMillis();
		// 打开字典文件
		Directory dir = FSDirectory.open(Paths.get(indexPath, new String[0]));
		// 获得要索引的文件
		Path docDirPath = Paths.get(dirPath, new String[0]);
		// 创建标准分词器
		Analyzer analyzer = new StandardAnalyzer();
		// 写入索引加分词器
		IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer);
		if (createOrAppend) {
			// 创建索引
			indexWriterConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE);
		} else {
			// 创建和追加索引
			indexWriterConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);
		}
		IndexWriter writer = new IndexWriter(dir, indexWriterConfig);
		indexDocs(writer, docDirPath);
		writer.close();
		long end = System.currentTimeMillis();
		System.out.println("Time consumed:" + (end - start) + " ms");
	}

	/**
	 * 
	 * @param writer
	 *            索引写入器
	 * @param path
	 *            文件路径
	 * @throws IOException
	 */
	public static void indexDocs(final IndexWriter writer, Path path) throws IOException {
		// 如果是目录，查找目录下的文件
		if (Files.isDirectory(path, new LinkOption[0])) {
			System.out.println("读取到的----directory" + path + "下的所有文件");
			// 遍历整个目录树文件
			/**
			 * FileVisitor接口： preVisitDirectory(T) – 在目录被访问前调用。
			 * preVisitDirectoryFailed(T, IOException) –
			 * 当目录不能被访问的时候调用。当访问目录发生异常的时候，异常会被传入该方法，我们可以选择怎样处理这些异常。
			 * postVisitDirectory
			 * 当一个目录中的所有的内容都被访问之后，该方法会被调用。如果有什么错误发生，那么异常会被传入该方法中。 visitFile –
			 * 当文件被访问的时候该方法会被调用。文件的基本属性会被传入该方法中，或者我们可以使用文件属性包来获取特殊的属性。
			 * 例如我们可以读取文件的 DosFileAttributeView来判断文件是否被隐藏了。 [这里我们重新了该方法]
			 * visitFileFailed –当文件不能访问的时候，该方法会被调用。异常会被传入该方法，我们可以任意选择怎样处理这个异常。
			 * Java SE 7提供了一个缺省的实现SimpleFileVisitor。 该类会遍历目录树
			 * ，并抛出所有遇到的异常。我们可以继承该 类，仅仅重写我们需要的实现特殊逻辑的方法。
			 */
			Files.walkFileTree(path, new SimpleFileVisitor<Object>() {
				@Override
				public FileVisitResult visitFile(Object file, BasicFileAttributes attrs) throws IOException {
					Path path = (Path) file;
					System.out.println(path.getFileName());
					indexDoc(writer, path, attrs.lastModifiedTime().toMillis());
					return FileVisitResult.CONTINUE;
				}
			});
		} else {
			// 如果直接是文件那就直接写入索引
			indexDoc(writer, path, Files.getLastModifiedTime(path, new LinkOption[0]).toMillis());
		}
	}

	/**
	 * 读取文件创建索引
	 * 
	 * @param writer
	 *            索引写入器
	 * @param file
	 *            文件路径
	 * @param lastModified
	 *            文件最后一次修改时间
	 * @throws IOException
	 */
	public static void indexDoc(IndexWriter writer, Path file, long lastModified) throws IOException {
		//构建输入流文件
		InputStream stream = Files.newInputStream(file, new OpenOption[0]);
		//创建索引document
		Document doc = new Document();
		//添加需要建立索引的Filed
		Field pathField = new StringField("path", file.toString(), Field.Store.YES);
		doc.add(pathField);
		doc.add(new LongField("modified", lastModified, Field.Store.NO));
		doc.add(new TextField("contents", new BufferedReader(new InputStreamReader(stream, StandardCharsets.UTF_8))));

		if (writer.getConfig().getOpenMode() == IndexWriterConfig.OpenMode.CREATE) {
			System.out.println("adding " + file);
			writer.addDocument(doc);
		} else {
			System.out.println("updating " + file);
			writer.updateDocument(new Term("path", file.toString()), doc);
		}
		writer.commit();
	}
}

我们来测试一下你需要建立你自己的文件我的是再E:/lucene/下建立自己要索引的文件和索引文件数据

* @author Janle
 *
 */
public class TestIndexUtil {
	
	@Test
	public void Testindex() {
		String dirPath = "E:/lucene/docPath";
		String indexPath = "E:/lucene/indexPath";
		try {
			IndexUtil.createIndex(dirPath, indexPath);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
}

使用junit测试一下

代码就不解释了，上边有注释。