特征选择

特征选择是从特征集中选择出相关的特征子集。在文本分类中是从训练集合出现的term中选择出一部分子集的过程。
特征选择有两个目的：
1、通过减少特征空间选择更有效的特征，提高分类训练和应用的效率。
2、去除噪音特征，提高分类的精度。
对于文本分类，特征选择的算法一般一下流程：

select-features(D,c,k){//D指document,c指Category,k保留的特征数
 v = extract-terms(D);//从文档中抽取term,分词
 L = []; //<feature、特征效用指标utilty> 数组
 foreach( t in v ){//对于文档中的每一个单词
    feaure-utilty(t,c) = compute-feaure-utilty(D,t,c);//计算feature的utilty
    append(L,<t,feaure-utility(t,c)>);//加入L中
 }
 return top-k-utilty-features(L);//返回特征效用最大的k个feature
}

这里使用特征效用（utility）度量,是为了避免和feature权重混淆。
特征效用是指在特征与类别的相关性，而特征权重是指特征在分类时的权重值。
http://www.blogjava.net/zhenandaci/archive/2009/04/19/266388.html有详细介绍。

特征选择的方法：
特征选择有很多种方法，比如：互信息、卡方检验（χ2 test）、基于频率的特征选择。

互信息的方法是计算term t和类别c的期望互信息，期望互信息是term的存在与否能
给类别c的正确判断带来的信息量。

卡方检验是用来检验两个事件的独立性，在特征选择中，它检验term的出现和类别的出现是否相互独立。

基于频率的特征选择就是选择在类别中出现频率比较高的term。频率可以定义为文档频率（
在类别c中包含t的文档数）和文档集频率（c类别中所有文档中t出现的总次数）。
文档频率适合贝努力模型，而文档集频率适合于多项式模型。

评论

4 楼 asme2u 2010-10-16  

我用到过DF+χ2串联特选，这两个正好是倾向性互补，平衡得好时效果还不错

3 楼 asme2u 2010-10-16  

fuliang 写道

asme2u 写道

兄台做文本分类吗？有机会交流交流

恩 好啊

QQ短消息给你了

2 楼 fuliang 2010-10-12  

asme2u 写道

兄台做文本分类吗？有机会交流交流

恩 好啊

1 楼 asme2u 2010-10-11  

兄台做文本分类吗？有机会交流交流