查看Lucene分词器分词后的结果

import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.WhitespaceAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;

/**
* 输出分词器分词的结果
* @author USER
*
*/
public class LookAnalyzerResult {

/**
* 测试主程序入口
* @param args
* @throws Exception
*/
public static void main(String[] args) throws Exception{
Analyzer analyzer1 = new StandardAnalyzer();
Analyzer analyzer2 = new WhitespaceAnalyzer();
String indexString1 = "中国建设银行 深发银行 广东发展银行";

String indexString2 = "这是一届创造奇迹、超越梦想的奥运会.......";

/**
* 中 国 建 设 银 行 深 发 银 行 广 东 发 展 银 行
中国建设银行 深发银行 广东发展银行
*/
showAnalyzerResult(analyzer1,indexString1);
showAnalyzerResult(analyzer2,indexString1);

/**
* 这 是 一 届 创 造 奇 迹 超 越 梦 想 的 奥 运 会
这是一届创造奇迹、超越梦想的奥运会.......
*/
showAnalyzerResult(analyzer1,indexString2);
showAnalyzerResult(analyzer2,indexString2);
}

/**
* 查看分词后的结果
* @param analyzer
* @param s
* @throws Exception
*/
public static void showAnalyzerResult(Analyzer analyzer, String s) throws Exception {

StringReader reader = new StringReader(s);
TokenStream ts = analyzer.tokenStream(s, reader);

Token t = ts.next();
while (t != null) {
System.out.print(t.termText()+" ");
t = ts.next();
}
System.out.println();
}
}