经验风险最小化

前面提到，机器学习的目的就是根据一些训练样本，寻找一个最优的函数，使得函数对输入X的估计Y'与实际输出Y之间的期望风险（可以暂时理解为误差）最小化。期望风险最小化依赖于样本的输入X与其输出Y之间的函数映射关系F(x,y)，而这个映射关系，在机器视觉和模式识别系统中，一般指代先验概率和类条件概率。然而，这两者在实际的应用中，都是无法准确获取的，唯一能够利用的就只有训练样本的输入X及其对应的观测输出Y。而机器学习的目的又必须要求使得期望风险最小化，从而得到需要的目标函数。不难想象，可以利用样本的算术平均来代替式理想的期望，于是就定义了下面的式子来作为实际的目标风险函数

是利用已知的经验数据（训练样本）来计算，因此被称之为经验风险。用对参数求经验风险来逐渐逼近理想的期望风险的最小值，就是我们常说的经验风险最小化（ERM）原则。

显然，利用经验风险来代替真实的期望风险是有代价的。首先，经验风险并不完全等于期望风险；其次，用经验风险来近似代替期望风险在理论上并没有完善的依据；最后，用经验风险来代替期望风险计算得到的误差属于经验误差，而并非真实期望误差；尽管有这样那样的问题存在，在先验概率和类条件概率无法准确获取的情况下，用经验风险来“想当然”的代替期望风险从而解决模式识别等机器学习问题的思路在这一领域依然大量存在。