lucene简单词典分词

其实要实现自己的分词并不是很困难。

要实现Token的next()方法，要实现比较好的分词就需要在这里进行复杂的处理，不过我的需求比较简单，

所以只在这判断一下是否有词库中对应的词。

private final Token getToken(String w,int p){
  Token token = new Token(w,p,w.length());
  return token;
 }
 public final Token next() throws IOException{
    ArrayList list = WordTreeFactory.getInstance();//初始化词库
    for(int i=curI;i<list.size();i++){
     curI = i;
     String w = (String) list.get(i);
     //if(s.indexOf(w)!=-1){
      for(int j = curJ;  j< s.length(); j++) {
         //curJ = j+1;
            int at = s.indexOf(w,j);
            if(at<0){
             curJ = 0;
             break;
            }
            else{
             curJ = at+1;

             return getToken(w,at);
            }
            //w = null;
            //i = at;
         }
     //}
     curI = i+1;
    
    }
    return null;
 }

 

Token实现完后就是实现Analyzer的tokenStream方法

public class SampleAnalyzer extends Analyzer {

    public SampleAnalyzer() {
    }

    public final TokenStream tokenStream(String fieldName, Reader reader) {
      TokenStream result = new ThesaurusTokenizer(reader);
         return result;
    }
}

一个最简单的分词就弄好了。