Lucene2.2 + MMAnalyzer 1.5 实现 中文分词 并排序

代码：

import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.Map.Entry;

import jeasy.analysis.MMAnalyzer;

/**
 * 此次测试使用的是Lucene2.2 
 * @author 李晗
 *
 */
public class Test {  

	public static void main(String[] args) 
	{
		String text = "看了我爸爸就心情不好，我快得忧郁病了。说说我爸爸的一些事吧，也许从一两件简单的生活琐事，你会觉得我太计较，但是你不知道，每天都有几个意想不到的”惊喜“给你，你的心情真的可以经受考验吗？我实在受不了了。也许你们会觉得我很不孝顺，但是没有经历过的人不会明白 周日回家，发现厨房有袋泰国香米，觉得奇怪，米还有很多呢，怎么又买了一袋呢。本想不问，可还是忍不住，问在客厅里盯着电视一动不动的爸爸，“怎么买了一袋米呢？”他赶紧从沙发上起身，说“是啊，我也不知道怎么会有袋米，有个野拿来的，我以为是你叫人送上来的‘ 接着他走到餐柜上拿了一张小票看。我在脑海里快速搜索，难道是W，有时老公会让他帮忙买米，但是这次不对啊，老公出差了，而且家里还有很多米，况且每次让他帮忙买都是我们自己拿回家的。结论：肯定是别人送错了。本想不管了，反正米是要吃的，就留着吃吧，赶紧到厨房做饭了，顺手拿来小票看了一眼，哗，100元，这么贵，再看看是楼下超市，还有电话。太贵了，我们家一般吃东北大米。马上打电话让他们来拿回去。真是的，拿不准，就不会打个电话问吗？顺便说一下，连打个电话都懒。 昨天中午买了烧腊外卖带回家，回家比较晚了，配了有几小袋的酱汁和烧鹅酱，撕开倒在小碟子上，几个小空袋（比方便面的味包小一半），就放在了打开的一次性饭盒盖上。时间晚了，没有把食物空出来放在自家的碟子上。没吃完，剩一半，可以留晚上吃。吃完赶紧去上班，爸爸收拾洗碗。晚上回家，赶紧做菜，把桌上中午吃剩的烧鹅饭盒直接放进微波炉加热，完了开饭，打开饭盒，一开，天呐，那几个空的酱油袋好好地呆在烧鹅上面呢。我的天啊，忍，忍不住，我说，爸爸，怎么这些空的酱油袋还放在里面不扔掉呢？他在看电视，好象楞了一下，说：恩，我以为你还要嘛” 。大多数时候，我已经修炼得不会继续说话的了，因为说多一句，他都会生气，或者和我争吵，认为我很挑剔，容不下他。但是这次我忍不住了，我说；都空的还会有什么用？“ 。我的语气都是很平和的。可是心里真的是不开心。他这个人真的很蠢，而且做什么事情都是非常随便，不用脑的，其实有些事情根本就不需要用脑，很简单的事，可是他经常都会让你大吃一惊，气堵胸口。 林林总总，对着这样的一个人，我真的觉得他没死我就会先死，虽然他是我爸爸，可是他的很多不良习惯我真的很难忍受。 碰到这样的父母，做子女的该怎么办呢？媒体，报纸，天天说子女要理解父母，孝顺父母，多陪父母.......我都挺晕的，很多时候你想跟他们说话，可是无话可说，各种习惯又合不来......怎么不说说父母也应该进步，提高自我，不要把自己和子女，和社会的差距拉得太大呢？ 我的想法是，父母应该要孝顺，但是不一定要同住，否则大家都痛苦。敬而远之，大家关系还好些，心情也好些";


		MMAnalyzer analyzer = new MMAnalyzer();
		Map<String,Integer> map = new HashMap<String,Integer>();
		try 
		{
			String[] str = analyzer.segment(text, " ").split(" ");
			
			System.out.println("词数:"+str.length);
			for(int i=0;i<str.length;i++){
				String temp = str[i];
				int tempCount=0;
				for(int j=0;j<str.length;j++){
					if(temp.equals(str[j]))
						tempCount++;
				}
				map.put(temp, tempCount);
			}
		} 
		catch (IOException e) 
		{
			e.printStackTrace();
		}
		System.out.println("map size:"+map.size());

		Set<Entry<String, Integer>> set = map.entrySet(); 
		Iterator<Entry<String, Integer>> itor = set.iterator(); 
		while(itor.hasNext()) 
		{ 
			Entry<String, Integer> entry = itor.next();
			if(1==entry.getValue())
				itor.remove();
		}
		List<Map.Entry<String, Integer>> list = sortMap(map);
		
		//排序后
		for (int i = 0; i < list.size(); i++) {
		    System.out.print(list.get(i).getKey()+"、");
		}
		
		System.out.println();
		
		for(int i=0;i<list.size();i++){
			System.out.println(list.get(i));
		}
		
	}

	//排序包含分词的Map
	public static List<Map.Entry<String, Integer>> sortMap(Map<String,Integer> map){
		List<Map.Entry<String, Integer>> infoIds =
		    new ArrayList<Map.Entry<String, Integer>>(map.entrySet());
		
		for(int i=0;i<infoIds.size();i++){
			if(infoIds.get(i).getKey().length()==1){//去除单个字
				infoIds.remove(i);
			}
			
		}
		//排序
		Collections.sort(infoIds, new Comparator<Map.Entry<String, Integer>>() {   
		    public int compare(Map.Entry<String, Integer> o1, Map.Entry<String, Integer> o2) {      
		        return (o2.getValue() - o1.getValue()); 
		        //return (o1.getKey()).toString().compareTo(o2.getKey());
		    }
		});
		return infoIds;

	}
}

运行结果：

词数:486
map size:338
说、爸爸、父母、真的、怎么、觉得、但是、小、赶紧、回家、饭盒、让他、子女、烧鹅、电话、就、很多、心情、忍不住、买了、一半、拿来、好些、厨房、天、而且、可是他、帮忙、吃完、一袋、用脑、说话、是你、晚上、可是、看了、都会、酱油、这样、碟子、可以、电视、也许、几个、一下、打开、都是、空的、不会、没有、这次、还有、放在、本想、孝顺、简单、大家、自己、晚了、时候、
说=7
爸爸=6
父母=5
真的=4
怎么=4
觉得=4
但是=4
小=4
赶紧=4
回家=4
饭盒=3
让他=3
子女=3
烧鹅=3
电话=3
就=3
很多=3
心情=3
忍不住=3
买了=3
一半=2
拿来=2
好些=2
厨房=2
天=2
而且=2
可是他=2
帮忙=2
吃完=2
一袋=2
用脑=2
说话=2
是你=2
晚上=2
可是=2
看了=2
都会=2
酱油=2
这样=2
碟子=2
可以=2
电视=2
也许=2
几个=2
一下=2
打开=2
都是=2
空的=2
不会=2
没有=2
这次=2
还有=2
放在=2
本想=2
孝顺=2
简单=2
大家=2
自己=2
晚了=2
时候=2

评论

1 楼 lsw521314 2012-07-13  

亲，能不能把包传上来啊？谢了