近期会做的项目

1. 大规模文本自动聚类。

目前实验条件有限，只能做到G级别，语料采用搜狐的新闻。

用mapreduce并行化分词，建立VSM。采用经典的tf/idf。

然后并行化的canopy算法进行粗分

再用并行化的k-means，余弦距离度量进行最后的聚类

思路已经想得非常清楚了，接下来就是写代码，得出数据。

2. 大规模文本自动分类。

采用svm或naive bayes算法，前面几步已经想清，最后的并行化没想清楚。

3.这个项目无限期长, 因为首先要把奇异值分解(SVD)的并行搞定。

建立VSM之后，矩阵的维度会变得非常高，采用这种方法可以将算法复杂度降低几个数量级。

做完之后，会继续采用Apache协议开源

评论

6 楼 coderplay 2009-05-03  

zzningxp 写道

您这个是做课题吗？

算是吧,项目开源在http://code.google.com/p/redpoll/

5 楼 zzningxp 2009-05-03  

您这个是做课题吗？

4 楼 beijing.josh 2008-11-29  

热烈期待奇异值分解(SVD)的并行的搞定。

3 楼 gufeng 2008-10-14  

   

2 楼 stack3256 2008-10-13  

支持开源。

1 楼 monner 2008-10-12  

期待中...