Lucene+nutch搜索引擎开发

Lucene+nutch搜索引擎开发;可以争对Java程序开发搜索引擎。

 

Lucene

Lucene作为一个全文检索引擎，其具有如下突出的优点：　　（1）索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件。　　（2）在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引的合并，达到优化的目的。　　（3）优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能。　　（4）设计了独立于语言和文件格式的文本分析接口，索引器通过接受Token流完成索引文件的创立，用户扩展新的语言和文件格式，只需要实现文本分析的接口。　　（5）已经默认实现了一套强大的查询引擎，用户无需自己编写代码即使系统可获得强大的查询能力，Lucene的查询实现中默认实现了布尔操作、模糊查询（Fuzzy Search[11]）、分组查询等等。　　面对已经存在的商业全文检索引擎，Lucene也具有相当的优势。　　首先，它的开发源代码发行方式（遵守Apache Software License[12]），在此基础上程序员不仅仅可以充分的利用Lucene所提供的强大功能，而且可以深入细致的学习到全文检索引擎制作技术和面相对象编程的实践，进而在此基础上根据应用的实际情况编写出更好的更适合当前应用的全文检索引擎。在这一点上，商业软件的灵活性远远不及Lucene。　　其次，Lucene秉承了开放源代码一贯的架构优良的优势，设计了一个合理而极具扩充能力的面向对象架构，程序员可以在Lucene的基础上扩充各种功能，比如扩充中文处理能力，从文本扩充到HTML、PDF[13]等等文本格式的处理，编写这些扩展的功能不仅仅不复杂，而且由于Lucene恰当合理的对系统设备做了程序上的抽象，扩展的功能也能轻易的达到跨平台的能力。　　最后，转移到apache软件基金会后，借助于apache软件基金会的网络平台，程序员可以方便的和开发者、其它程序员交流，促成资源的共享，甚至直接获得已经编写完备的扩充功能。最后，虽然Lucene使用Java语言写成，但是开放源代码社区的程序员正在不懈的将之使用各种传统语言实现（例如.net framework[14]），在遵守Lucene索引文件格式的基础上，使得Lucene能够运行在各种各样的平台上，系统管理员可以根据当前的平台适合的语言来合理的选择。　　如何用java实现lucene（只使用，不求甚解版-_-"）

前提

lucene有7个包需要导入：analysis，document，index，queryParser，search，store，util

建立索引

IndexWriter writer = new IndexWriter("E:/index", new StandardAnalyze(),true,MaxFieldLength.UNLIMITED); //true代表覆盖原先数据，maxFieldLength用来限制Field的大小　　Document doc = new Document();　　doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.ANALYZED,　　Field.TermVector.WITH_POSITIONS_OFFSETS));　　doc.add(new Field("time", "60", Field.Store.YES, Field.Index.ANALYZED,　　Field.TermVector.WITH_POSITIONS_OFFSETS));　　writer.addDocument(doc);　　writer.optimize(); //优化　　writer.close();

搜索

IndexSearcher searcher= new IndexSearcher("E:/index") Query query = new TermQuery(new Term("title", "lucene"));//单个字节查询　　//Query query = new FuzzyQuery(new Term("title", "lucena"));//模糊查询　　//Query query = new WildcardQuery(new Term("title", "lu*"));// 通配符查询 ?代表一个字符,*代表0到多个字符　　//BooleanQuery query = new BooleanQuery();//条件查询　　//BooleanQuery qson1 = new BooleanQuery();　　//Query q1 = new TermQuery(new Term("title", "lucene"));　　//qson1.add(q1, Occur.MUST);//MUST是必须满足的　　//BooleanQuery qson2 = new BooleanQuery();　　//Query q2= new TermQuery(new Term("sex", "woman"));　　//qson2 .add(qson1, Occur.MUST_NOT);//MUST_NOT是必须不满足　　//query.add(qson1, Occur.SHOULD);　　//query.add(qson2, Occur.SHOULD);//SHOULD代表满足qson1或者满足qson2都可以　　//PhraseQuery query = new PhraseQuery();//近距离查询　　//query.setSlop(5);//距离设置为5　　//query.add(new Term("title", "lucene"));　　//query.add(new Term("title", "introduction"));//查询出title中lucene和introduction距离不超过5个字符的结果　　//Query query = new PrefixQuery(new Term("title", "lu"));//WildcardQuery的lu*一样　　//RangeQuery query = new RangeQuery(new Term("time", "50"),new Term("time", "60"), true);　　//true代表[50,60]，false代表(50,60)　　Hits hits = searcher.search(query);　　for (int i = 0; i < hits.length(); i++) {　　Document d = hits.doc(i);　　String title= d.get("title");　　System.out.print(title+ " ");　　}　　这样，基本上就可以使用了

　　注：以上代码为lucene早些版本的写法。lucene3.02的写法有所改变。

在分析了Crawler工作中设计的文件之后，接下来我们研究Crawler的抓取流程以及这些文件在抓取中扮演的角色。Crawler的工作原理：首先Crawler根据WebDB生成一个待抓取网页的URL集合叫做Fetchlist，接着下载线程Fetcher根据Fetchlist将网页抓取回来，如果下载线程有很多个，那么就生成很多个Fetchlist，也就是一个Fetcher对应一个Fetchlist。然后Crawler用抓取回来的网页更新WebDB，根据更新后的WebDB生成新的Fetchlist，里面是未抓取的或者新发现的URLs，然后下一轮抓取循环重新开始。这个循环过程可以叫做“产生/抓取/更新”循环。　　指向同一个主机上Web资源的URLs通常被分配到同一个Fetchlist中，这可防止过多的Fetchers对一个主机同时进行抓取造成主机负担过重。另外Nutch遵守Robots Exclusion Protocol，网站可以通过自定义Robots.txt控制Crawler的抓取。　　在Nutch中，Crawler操作的实现是通过一系列子操作的实现来完成的。这些子操作Nutch都提供了子命令行可以单独进行调用。下面就是这些子操作的功能描述以及命令行，命令行在括号中。　　1. 创建一个新的WebDb (admin db -create).　　2. 将抓取起始URLs写入WebDB中 (inject).　　3. 根据WebDB生成fetchlist并写入相应的segment(generate).　　4. 根据fetchlist中的URL抓取网页 (fetch).　　5. 根据抓取网页更新WebDb (updatedb).　　6. 循环进行3－5步直至预先设定的抓取深度。　　7. 根据WebDB得到的网页评分和links更新segments (updatesegs).　　8. 对所抓取的网页进行索引(index).　　9. 在索引中丢弃有重复内容的网页和重复的URLs (dedup).　　10. 将segments中的索引进行合并生成用于检索的最终index(merge).