lucene索引

说是第8天，其实就是起个计数作用最近太懒了

提取出了网页，并生成了5000多个txt文本文件，下一步就是要对其索引，并存入数据库。对于存进数据库，初学者可能觉得为什么还要用到数据库呢，lucene已经提供了查询，索引。我的理解是存入数据库可以方便我们jsp页面显示。如果数据库中的数据项过于庞大（构建搜索引擎的目的就是为了从庞大的数据中筛选我们需要的信息，所以这点是避免不了的），单纯的用sql来检索速度会很慢，所以有了lucene来帮助我们，它的速度应该是要远远快于数据库。lucene查出了我们要的信息的id，我们可以根据此id在数据库中把该条信息提取出来，这样方便页面显示，效率也会有所提高。所以，下面的工作就是柳暗花明了

先说索引，有了lucene的帮助，索引其实非常简单，我写了一个类，索引和存入数据库综合起来了

里面的核心方法：

 

	public void initialize() {
		try {
			productJDBC = new ProductJDBC( "jdbc:microsoft:sqlserver://localhost:1433;DatabaseName=searchdb","sa","");
			indexer = new ProductIndexer(indexPath);
		}catch(Exception e){
			e.printStackTrace();
		}
	}

	public void setDirectories(String[] directories) {
		this.directories = directories;
	}

	protected void process() throws Exception {

		if (productJDBC == null) {
			throw new Exception("Database connection failed, pls retry!!");
		}
		
		if (directories == null || directories.length == 0) {
			return;
		}

		try {
			for (int i = 0; i < directories.length; i++) {
				File f = new File(directories[i]);
				traverse(f);
			}
			
			closeDB();
			closeIndex();
			
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	private void traverse(File file) throws Exception {
		
		String [] files = file.list();
		for (int i = 0; i < files.length; i++) {
			
			File productfile = new File(file, files[i]);
			String fname = productfile.getName();
			
			BufferedReader reader = new BufferedReader(new FileReader(productfile));
			
			String url = pro(reader.readLine());
			String imageURI = pro(reader.readLine());
			String summary = pro(reader.readLine());
			String name = fname.substring(0,fname.indexOf("_"));
			String type = fname.substring(fname.indexOf("_")+1,fname.length()-4);
			
			StringBuffer content = new StringBuffer();
			String line = reader.readLine();
			while (line != null){
				content.append(line).append("\r\n");
				line = reader.readLine();
			}
			
			
			// make the Product object
			Product p = new Product();
			p.setCategory("汽车");
			p.setName(name);
			p.setType(type);
			p.setImageURI(imageURI);
			p.setOriginalUrl(url);
			
			String contentstr = content.toString();
			p.setContent(contentstr);
			p.setUpdatedtime("");
			p.setSummary(summary);
			int nextid = insert2DB(p);
			buildIndex(p, nextid);
			
		}
		
		optimizeIndex();
	}

 由于篇幅原因就不一一贴出来了

经过10分钟左右吧，就可以把所有的txt文本文件处理成功。