一直觉得基于机器学习的数据挖掘技术是很有意思的东西,尤其是以统计学习理论为基础的SVM技术更是让人觉得充满科学的创意。在一位优秀老师的指导下学习了一些这方面的皮毛,于是总想动笔写下一点东西,算是与大家分享我的体会。就从我觉得最有意思的特征选择开始吧,说不定慢慢就写成一篇不错的review了。内容会有些学术,有些偏理论,我也会尽力的列出参考文献。鉴于我也是菜鸟,有错误的话还请大家拍砖。
特征选择(feature selection)是一种很有实用价值的技术,本质上来说是一种为数据挖掘消除数据噪声的技术。但我们对某件事务进行判断时,我们会根据以往的经验根据某些信息,而不是所有的信息做出判断。比如,判断一辆车的品牌,我们会去看车头车尾的标志,更细致一点会去看车的铭牌,因为这是最权威,也是最容易判断车辆品牌的信息。如果根据车的外形去判断车辆的品牌就有可能把QQ当作Spark,把F3当作花冠;如果根据车的价格去判断,也会把奥迪和大奔弄混。也就是说,人做判断时会选择出最有效的信息来做出自己的抉择。
计算机在面对类似问题的却无法根据已有的经验去选择最有效的信息,而大量无效信息对于计算机来说就是噪声,反而会影响计算机的判断结果。如果是前面对车辆品牌进行判断的例子,还可以人工的选择出最有效的信息。但是如果面对的是DNA序列、复杂的图片,那就只能依靠计算机了。于是这就诞生了特征选择技术,选出与结果最相关的特征,从而提高判断的准确率。
先列个提纲,有时间再来慢慢写。欢迎拍砖,不屑于拍砖的也欢迎~~~
1. 什么是特征选择?
1.1 特征选择的起源
1.2 特征选择的发展历史
1.3 特征选择的研究现状
2. 特征选择的分类及基本原理
3. SVM以及SVM-RFE的基本原理
3.1 统计学习和SVM
3.2 SVM-RFE的基本原理
4. SVM-RFE的应用实例
3.1 SVM-RFE的实现
3.2 数据的编码和预处理
3.3 参数的选择和二重交叉验证
5. 特征选择的缺陷
分享到:
相关推荐
在情感价值检测中,SVM-RFE算法可以用于选择最相关的EEG信号特征,以检测大脑对视觉刺激的反应。该方法可以用于情感计算、脑-机接口、神经科学等领域。 此外,本文还讨论了habituation(习惯化)在情感价值检测中的...
基因选择算法 SVMRFE 基因选择算法 SVMRFE 基因选择算法 SVMRFE
基于SVM-RFE支持向量机递归特征消除的回归数据特征选择算法,输出为选择的特征序号(Matlab完整程序和数据) Chinese: Options:可用的选项即表示的涵义如下 -s svm类型:SVM设置类型(默认0) 0 -- C-SVC 1 --v...
Matlab基于支持向量机递归特征消除(SVM_RFE)的回归数据特征选择算法,matlab代码,输出为选择的特征序号(Matlab完整程序和数据) Matlab基于支持向量机递归特征消除(SVM_RFE)的回归数据特征选择算法,matlab代码,...
基于支持向量机递归特征消除(SVM_RFE)的分类特征选择算法,matlab代码,输出为选择的特征序号。 多特征输入单输出的二分类及多分类模型。程序内注释详细,直接替换数据就可以用。 程序语言为matlab,程序可出分类...
结合这三个概念,"SVM-RFE-CBR-v1.3"可能是用于处理和分析数据的工具,它结合了SVM的分类能力、RFE的特征选择策略以及CBR的案例推理能力。这样的工具可能特别适用于处理大量数据,自动选择最重要的特征,然后根据...
在本项目“SVM-RFE-master”中,我们将重点讨论如何利用R语言中的e1071包结合SVM和RFE进行特征选择。 首先,e1071包是R语言中用于实现SVM和其他统计学习方法的一个重要工具包。它提供了多种SVM核函数(如线性、...
SVM-RFE是SVM的一种特征选择方法,该方法通过递归地消除对分类贡献最小的特征,能够有效地从高维数据中筛选出与目标属性密切相关的特征子集。SVM-RFE在基因表达数据分析中的应用已经取得了一些成功的案例,例如在...
本代码使用svm_RFE来循环递归式的对数据特征进行排序,从而筛选出有用的特征,同时可以看到特征排序,已经每次筛选出去的特征
综上所述,MATLAB中的SVM-RFE是特征选择的一种有效策略,通过逐步剔除不重要的特征,有助于提升模型的准确性和理解性。实际应用中,需要根据数据特性选择合适的核函数,优化参数,同时考虑计算效率和特征间的交互。
SVM_RFE是早期提出的一种特征排序方法,利用SVM在数据集上训练得到的权重向量对特征进行排序 然后剔除无用特征,重新训练,之后再剔除。。。
利用遗传基因算法对SVM-RFE算法进行优化,从而获取更优异的特征,提高检测率,该算法的SVMtrain利用matlab自带的函数
2. **SVM-RFE(Support Vector Machine - Recursive Feature Elimination)**:SVM(支持向量机)是一种强大的监督学习模型,常用于分类和回归任务。在RFE的基础上,SVM-RFE结合了SVM的分类能力,根据SVM中各个特征...
【标题】"svm-rfe.zip" 是一个包含Matlab实现的支持向量机(SVM)与递归特征消除(RFE)算法的项目...通过运行这些代码,用户可以深入理解如何在特征众多的情况下,通过SVM-RFE策略优化特征选择,提升模型的泛化能力。
在这个压缩包中,我们可能找到一个名为"SVM-RFE-master"的主目录,包含了与这两种机器学习技术相关的代码、数据和文档。以下是关于SVM和RFE的详细知识点: **支持向量机(Support Vector Machine, SVM)** 1. SVM是...
实现了SVM_RFE算法,进行特征选择并分类
SVM-RFE.R
癌症分类指的是利用基因表达数据对不同癌症样本进行类别划分,基因选择是指挑选出对疾病分类贡献最大的基因集合,SVM-RFE是一种特征选择技术,遗传算法是一种用于优化和搜索的技术。 综上所述,基因选择在癌症分类...