1、定义
统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization),即SRM准则。
2、经验风险与真实风险的关系
统计学习理论系统地研究了对于各种类型的函数集,经验风险和实际风险之间的关系。得出如下结论:对指示函数集中的所有函数(包括使经验风险最小的函数), 经验风险 和实际风险 之间以至少 的概率满足如下关系:
其中h是函数集的VC维,n是样本数.
这一结论从理论上说明了学习机器的实际风险是由两部分组成的:一是经验风险(训练误差),另一部分称作置信范围,它和学习机器的VC维及训练样本数有关。
上式可以简单地表示为:
它表明,在有限训练样本下,学习机器的VC维越高(复杂性越高)则置信范围越大,导致真实风险与经验风险之间可能的差别越大.这就是为什么会出现过学习现象的原因.机器学习过程不但要使经验风险最小,还要使VC维尽量小以缩小置信范围,才能取得较小的实际风险,即对未来样本有较好的推广性.
3、结构风险最小化(SRM)的基本思想
传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限时是不合理的, 会出现过学习现象(训练误差小并不总能导致好的预测效果.某些情况下,训练误差过小反而会导致推广能力的下降,即真实风险的增加,这就是过学习问题), 因此,需要同时最小化经验风险和置信范围。
为此,统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization),即SRM准则。
4、实现思路
实现SRM的思路之一就是设计函数集的某种结构使每个子集中都能取得最小的经验风险(如使训练误差为0),然后只需选择适当的子集使置信范围最小,则这个子集中使经验风险最小的函数就是最优函数。SVM方法实际上就是这种思想的具体实现。
实现SRM另一种思路是在每个子集中求最小经验风险,然后选择使最小经验风险和置信范围之和最小的子集.显然这种方法比较费时,当子集数目很大甚至是无穷时不可行.
分享到:
相关推荐
统计学习理论采用结构风险最小化(structural risk minimization, SRM)准则,在最小化样本点误差的同时,最小化结构风险,提高了模型的泛化能力,且没有数据维数的限制。在进行线性分类时,将分类面取在离两类样本距离较大...
支持向量机( Support Vector Machines , SVM)是 一种基于统计学习理论的机器...风险最小化( Structural Risk Minimization, SRM )准 则,在最小化样本误差的同时缩小模型泛化误差的 上界,从而提高模型的泛化能力.
统计学习理论强调结构风险最小化(Structural Risk Minimization, SRM)原则,这与传统的经验风险最小化(Empirical Risk Minimization, ERM)有所不同。经验风险最小化仅关注于通过训练数据得到的误差最小化,而...
在本概论中,我们将探讨几个核心概念,包括经验风险最小化(Empirical Risk Minimization, ERM)和结构风险最小化(Structural Risk Minimization, SRM),以及损失函数的不同类型。 首先,我们要理解学习方法中的...
统计学习理论的核心思想是结构风险最小化(Structural Risk Minimization, SRM)原则,这与经验风险最小化(Empirical Risk Minimization, ERM)相对。在ERM中,我们通常选择使得经验风险最小的模型,即在训练数据上...
在描述中提到的“结构风险最小化”(SRM,Structural Risk Minimization)是统计学习理论中的一个重要概念,它与SVM密切相关。SRM旨在通过权衡学习模型的复杂性和拟合数据的能力来达到最优的泛化性能。简单来说,...
为了解决这个问题,统计学习理论提出了结构风险最小化(Structural Risk Minimization, SRM)原则,它在经验风险最小化的基础上,加入了正则化项,即模型的复杂度控制,以避免过拟合。这通常通过选择VC维较小的模型...
支持向量机基于统计学习理论中的结构风险最小化(Structural Risk Minimization, SRM)原则。这一原则强调了模型的泛化能力,而非仅仅追求训练集上的性能最大化。具体来说,SVM试图找到一个决策边界,该边界不仅能够...
不同于传统的人工神经网络(Artificial Neural Network,ANN),SVM基于结构风险最小化(Structural Risk Minimization,SRM)原理,而ANN则是基于经验风险最小化(Empirical Risk Minimization,ERM)原理。SRM强调...
**结构风险最小化**(Structural Risk Minimization, SRM)是在经验风险最小化的基础上加入了对模型复杂度的控制,通过平衡经验风险和模型复杂度来选择最优模型。SRM的核心思想是选择既能较好拟合训练数据又不过分...
支持向量机的目标是实现结构风险最小化(Structural Risk Minimization, SRM),这意味着不仅要最小化经验风险,还要考虑模型的复杂度,防止过拟合。在SVM中,这个复杂度是通过选择最大间隔的超平面来控制的。最大...
11. 结构风险最小化(Structural Risk Minimization, SRM):在经验风险最小化的基础上引入正则化项,通过平衡模型复杂度和训练误差来提升泛化性能。 12. 支持向量机(Support Vector Machine, SVM):SVM是一种...
- **结构风险最小化(Structural Risk Minimization, SRM)**:传统上,机器学习算法往往追求经验风险最小化(Empirical Risk Minimization, ERM),即在训练集上达到最小的预测误差。然而,这种方法往往忽视了模型...
2. **结构风险最小化(Structural Risk Minimization,SRM)原则**:为了解决过拟合问题,Vapnik提出了SRM原则,它不仅考虑了经验风险,还引入了模型复杂度的惩罚项,从而在泛化能力和模型复杂度之间寻找平衡。...