【转】mahout应用kmeans进行文本聚类2之——实例分析

转：http://blog.csdn.net/aidayei/article/details/6674135

 

在Mahout_in_Action这本书中，给了一个文本的聚类实例，并提供了原始输入数据，下面结合例子说明

作为聚类算法的主要应用场景 - 文本分类，对文本信息的建模也是一个常见的问题。在信息检索研究领域已经有很好的建模方式，就是信息检索领域中最常用的向量空间模型

词频 - 逆向文本频率 (Term Frequency – Inverse Document Frequency, TF-IDF)：它是对 TF 方法的一种加强，字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在所有文本中出现的频率成反比下降。举个例子，对于“高频无意义词汇”，因为它们大部分会出现在所有的文本中，所以它们的权重会大打折扣，这样就使得文本模型在描述文本特征上更加精确。在信息检索领域，TF-IDF 是对文本信息建模的最常用的方法。

对于文本信息的向量化，Mahout 已经提供了工具类，它基于 Lucene 给出了对文本信息进行分析，然后创建文本向量。下面给出了一个例子，分析的文本数据是路透提供的新闻数据。将数据集下载后，放在“src/test/input”目录下。数据集下载地址：http://www.daviddlewis.com/resources/testcollections/reuters21578/

1. 将路透的数据解压缩，Mahout 提供了专门的方法

File inputFolder = new File("src/test/input");   
File outputFolder = new File("src/test/input-extracted");   
ExtractReuters extractor = new ExtractReuters(inputFolder, outputFolder);   
extractor.extract(); 

 2. 将数据存储成 SequenceFile

mahout直接进供了seqdirectory方法来将字符文本转成SequenceFile，可以直接bin/mahout seqdirectory -h，查看一下这个命令的帮助，将输入和输出参数设好，这里的输入就直接用上一步提取出的文本，目录在"src/test/input-extracted"

3.将 SequenceFile 文件中的数据，基于 Lucene 的工具进行向量化

mahout直接提供了seq2sparse命令来转向量，可以直接bin/mahout seq2sparse -h，查看一下这个命令的帮助，输入为第二步的输出

生成的向量化文件的目录结构是这样的：

• df-count 目录：保存着文本的频率信息
• tf-vectors 目录：保存着以 TF 作为权值的文本向量
• tfidf-vectors 目录：保存着以 TFIDF 作为权值的文本向量
• tokenized-documents 目录：保存着分词过后的文本信息
• wordcount 目录：保存着全局的词汇出现的次数
• dictionary.file-0 目录：保存着这些文本的词汇表
• frequcency-file-0 目录 : 保存着词汇表对应的频率信息。

再用mahout kmeans进行聚类，输入参数为tf-vectors 目录下的文件，如果整个过程没错，就可以看到输出结果目录clusters-N

最后可以用mahout提供的结果查看命令mahout clusterdump来分析聚类结果