package bindex;
import java.io.File;
import tool.FileText;
import tool.FileList;
import java.io.*;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.store.LockObtainFailedException;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
public class FileIndexer {
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
String indexPath ="indexes";
try {
IndexWriter indexWriter = new IndexWriter(indexPath,new StandardAnalyzer());
String[] files=FileList.getFiles("htmls");
int num=files.length;
for(int i=0;i<num;i++){
Document doc=new Document();
File f=new File(files[i]);
String name=f.getName();
String content=FileText.getText(f);
String path=f.getPath();
Field field=new Field("name",name,Field.Store.YES,Field.Index.TOKENIZED);
doc.add(field);
field=new Field("content",content,Field.Store.YES,Field.Index.TOKENIZED);
doc.add(field);
field=new Field("path",path,Field.Store.YES,Field.Index.NO);
doc.add(field);
indexWriter.addDocument(doc);
System.out.println("File:"+path+name+" indexed!");
}
System.out.println("OK!");
indexWriter.close();
} catch (CorruptIndexException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (LockObtainFailedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
File:htmls\wy\360安全中心 - 360安全卫士官网 - 360安全卫士下载免费杀毒木马查杀杀木马电脑安全恶意软件查杀流氓软件查杀.htm360安全中心 - 360安全卫士官网 - 360安全卫士下载免费杀毒木马查杀杀木马电脑安全恶意软件查杀流氓软件查杀.htm indexed!
File:htmls\腾讯首页11.htm腾讯首页11.htm indexed!
OK!
package bindex;
import java.io.IOException;
import java.lang.StringBuffer;
import org.apache.lucene.index.*;
import org.apache.lucene.search.*;
import org.apache.lucene.document.*;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
public class BindexSearcher {
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
String indexPath="indexes";
String searchField="content";
String searchPhrase="迅";
StringBuffer sb=new StringBuffer("");
try {
IndexSearcher searcher=new IndexSearcher(indexPath);
Term t=new Term(searchField,searchPhrase);
Query q=new TermQuery(t);
Hits hs=searcher.search(q);
int num=hs.length();
for (int i=0;i<num;i++){
Document doc=hs.doc(i);
Field fname=doc.getField("name");
Field fcontent=doc.getField("content");
sb.append("name:\n");
sb.append(fname.stringValue()+"\n");
sb.append("content:\n");
sb.append(fcontent.stringValue().substring(0, 100)+"\n");
sb.append("------------"+"\n");
}
searcher.close();
System.out.println(sb);
} catch (CorruptIndexException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
name:
腾讯首页11.htm
content:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3c.org/TR/1999/REC-html4
------------
name:
腾讯首页11.htm
content:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3c.org/TR/1999/REC-html4
------------
name:
腾讯首页11.htm
content:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3c.org/TR/1999/REC-html4
------------
package bindex;
import java.io.IOException;
import java.lang.StringBuffer;
import org.apache.lucene.index.*;
import org.apache.lucene.search.*;
import org.apache.lucene.document.*;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
public class BindexSearcher {
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
String indexPath="indexes";
String searchField="content";
String searchPhrase="360";
StringBuffer sb=new StringBuffer("");
try {
IndexSearcher searcher=new IndexSearcher(indexPath);
Term t=new Term(searchField,searchPhrase);
Query q=new TermQuery(t);
Hits hs=searcher.search(q);
int num=hs.length();
for (int i=0;i<num;i++){
Document doc=hs.doc(i);
Field fname=doc.getField("name");
Field fcontent=doc.getField("content");
sb.append("name:\n");
sb.append(fname.stringValue()+"\n");
sb.append("content:\n");
sb.append(fcontent.stringValue().substring(0, 100)+"\n");
sb.append("------------"+"\n");
}
searcher.close();
System.out.println(sb);
} catch (CorruptIndexException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
name:
360安全中心 - 360安全卫士官网 - 360安全卫士下载免费杀毒木马查杀杀木马电脑安全恶意软件查杀流氓软件查杀.htm
content:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3c.org/TR/1999/REC-html4
------------
name:
360安全中心 - 360安全卫士官网 - 360安全卫士下载免费杀毒木马查杀杀木马电脑安全恶意软件查杀流氓软件查杀.htm
content:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3c.org/TR/1999/REC-html4
------------
name:
360安全中心 - 360安全卫士官网 - 360安全卫士下载免费杀毒木马查杀杀木马电脑安全恶意软件查杀流氓软件查杀.htm
content:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3c.org/TR/1999/REC-html4
------------
package tool;
import java.io.*;
public class FileText {
/**
* @param args
*/
public static String getText(File f){
StringBuffer sb=new StringBuffer("");
try{
FileReader fr=new FileReader(f);
BufferedReader br=new BufferedReader(fr);
String s=br.readLine();
while(s!=null){
sb.append(s);
s=br.readLine();
}
br.close();
}
catch (Exception e){
sb.append("");
}
return sb.toString();
}
public static String getText(String s){
String t="";
try{
File f=new File(s);
t=getText(f);
}
catch (Exception e){
t="";
}
return t;
}
public static void main(String[] args) throws IOException{
String s=FileText.getText("htmls/home.htm");
System.out.println(s);
}
}
package tool;
import java.io.*;;
//返回某个目录下的所有文件
public class FileList{
private static final String SEP="/";
private static StringBuffer sb=new StringBuffer("");
public static String[] getFiles(File f) throws IOException{
if(f.isDirectory()){
File[] fs=f.listFiles();
for(int i=0;i<fs.length;i++){
getFiles(fs[i]);
}
}
else{
sb.append(f.getPath()+SEP);
}
String s=sb.toString();
String[] list=s.split(SEP);
return list;
}
public static String[] getFiles(String t) throws IOException{
File f=new File(t);
if(f.isDirectory()){
File[] fs=f.listFiles();
for(int i=0;i<fs.length;i++){
getFiles(fs[i]);
}
}
else{
sb.append(f.getPath()+SEP);
}
String s=sb.toString();
String[] list=s.split(SEP);
return list;
}
}
分享到：
相关推荐
《最新全文检索 Lucene-5.2.1 入门经典实例》 Lucene是一个开源的全文检索库，由Apache软件基金会开发，广泛应用于各种信息检索系统。在5.2.1版本中，Lucene提供了更为高效和强大的搜索功能，为开发者提供了构建...
- **多线程支持**：在3.0系列中，Lucene增强了对多线程环境的支持，允许并发索引和检索操作，提升性能。 3. **Lucene 3.4.0** - **查询执行优化**：3.4.0版本对查询执行引擎进行了重大优化，包括更快的评分计算和...
二、Lucene索引创建流程 1. 初始化：首先，我们需要导入Lucene库，并创建一个标准的Analyzer，例如StandardAnalyzer，它对输入的文本进行标准化处理。 2. 创建索引目录：索引数据会存储在一个Directory对象中，...
- **Codecs模块**：提供了不同的编码方式，用于存储和检索索引，如`lucene-codecs-4.7.0.jar`。 - **Contrib模块**：包含社区贡献的扩展功能，可能包括特殊分词器、搜索建议等，如`lucene-join-4.7.0.jar`、`lucene...
本文将深入探讨"je-analysis-1.5.3"和"lucene-core-2.4.1"这两个分词组件，以及它们在相关场景中的应用。 首先，让我们了解什么是分词。分词，即词语切分，是自然语言处理（NLP）中的基本任务之一，它的目标是将...
**Lucene 全文检索引擎** Lucene 是一个开源的全文检索库，由 Apache 软件基金会开发，被广泛应用于各种项目中，用于实现高效、可扩展的全文搜索功能。它提供了强大的文本分析和索引能力，支持多种格式的文档，如 ...
2. 索引过程：Lucene的索引过程包括分析（Analyzer）、术语文档表（Term Document Matrix）生成和倒排索引（Inverted Index）的构建。分析阶段将输入文本拆分成有意义的单元——术语，然后创建术语文档表，最后构建...
标题与描述概述的知识点主要围绕着Lucene索引的核心概念，包括索引的基本定义、反向索引（倒排索引）的工作原理以及Lucene如何实现其独特的索引文件格式。下面将对这些知识点进行详细阐述。 ### 索引概念 索引是一...
在3.0.2版本中，Lucene引入了诸多优化，比如更高效的内存管理、更快的搜索速度以及更灵活的索引构建机制。其中，Document类是表示单个文档的基础单元，Field类则用于定义文档中的字段，如标题、内容等。Analyzer是...
作为Java实现的全文检索引擎，Lucene提供了一套高度可扩展的API，支持索引和搜索大量文本数据。在“lucene-core-2.4.0.jar”这个版本中，Lucene已经相当成熟，可以满足各种复杂的搜索需求。 二、核心组件 1. 文档...
总的来说，"Lucene-core-2.0.0.jar"是开发全文检索应用的基础，它集成了索引、查询、分词等关键功能，并在2.0.0版本中进行了优化，使得开发更加高效，搜索更加精准。无论你是搜索引擎的初学者还是经验丰富的开发者，...
同时，对于Je-Analysis，需要理解其分词规则，如何配置和调用分词器，以及如何将其集成到Lucene的索引和搜索流程中。在实际应用中，还需要考虑如何优化索引性能，例如通过设置不同的分析器来适应不同的文本类型，...
以上就是关于“Lucene索引的简单使用”的详细介绍，包括其核心概念、创建和查询索引的步骤以及一些高级特性。希望对你理解和应用Lucene有所帮助。在实际开发中，可以根据需求选择合适的Analyzer，优化索引策略，以...
Lucene.net是Lucene的.net移植版本，是一个开源的全文检索引擎开发包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎。开发人员可以基于Lucene.net实现全文检索的...
Lucene和JE-Analysis是两个强大的开源工具，用于实现高效的全文检索和文本分析。本文将深入探讨这两个组件，以及如何将它们结合使用以实现贝叶斯分类算法。 首先，让我们来了解一下Lucene。Lucene是Apache软件基金...
**基于Lucene技术的增量索引** 在信息技术领域，全文搜索引擎是处理大量数据查询的关键工具。Apache Lucene是一个开源的全文检索库，被广泛应用于构建高效、可扩展的搜索功能。本文将深入探讨如何利用Lucene实现...
"codecs"部分是Lucene中一个关键的概念，它代表编码解码器，用于处理索引的存储和检索。在Lucene 4.4.0中，代码库包括了多种编码解码器，如Lucene40PostingsFormat、Lucene42PostingsFormat等，它们分别负责不同的...
通过阅读和理解 `lucene-2.9.4` 版本的源码，开发者可以学习到 Lucene 的核心机制，这对于开发自定义搜索引擎或者对全文检索技术有深入了解是非常有价值的。同时，了解老版本的代码也有助于对比新版本的改进和优化，...
在Lucene3.0中创建索引是一个关键功能，可以帮助用户快速地检索和管理大量的文本数据。本篇文章将详细介绍如何使用Lucene3.0来创建索引，并通过一个具体的例子来演示整个过程。 #### 一、Lucene3.0简介 Lucene是一...
- **索引**: Lucene通过分析文档内容，将其转换成倒排索引，使得搜索效率极高。倒排索引是Lucene的核心数据结构。 - **Analyzer**: 分析器负责将输入文本分解为关键词，进行标准化处理，如去除停用词、词形还原等...