机器学习的基本概念

顾名思义，机器学习的目的就是让机器具有类似于人类的学习、认识、理解事物的能力。试想一下，如果计算机能够对大量的癌症治疗记录进行归纳和总结，并能够给医生提出适当的建议和意见，那对病人的康复来说，是多么的重要。除了医疗领域，金融股票、设备维护、自动驾驶、航空航天等领域也对机器学习表现出了越来越多的关注。

一个典型的机器学习系统可以用下面的图来表示：

其中，系统S是我们研究的对象，它在给定一个输入x的情况下，得到一定的输出y,LM是我们所求的学习机，其输出为y'。机器学习的目的是根据给定的训练样本求取系统输入输出之间的依赖关系的估计，使它能够对未知的输出做出尽可能准确的预测。

机器学习问题可以形式化地表示为：已知变量y与输入x之间存在一定的未知依赖关系，即存在一个未知的映射F(x,y)，（x和y之间的确定性关系可以看做是一个特例），机器学习就是根据n个独立同分布的观测样本

在一组函数中求一个最优的函数，使预测的期望风险最小。其中，被称为预测函数集，为函数的广义参数，故可以表示任何函数集；为由于对y进行预测而造成的损失。不同类型的学习问题有不同形式的损失函数。预测函数也叫做学习函数、学习模型或学习机器。

通常来说，为了能够得到一个完善的机器学习系统，需要依次进行以下的步骤：

（一）选择训练经验：给学习机器提供的训练经验的选择对于系统的成败有着重要的影响。一般来讲，训练经验应该能够直接或者间接的对系统的决策做出一定的反馈，训练经验应该能够在很大程度上控制训练样例的序列；此外，训练经验还应该可以进可能的对训练样本和测试样本的空间概率分布做出很好的估计。

（二）选择目标函数：在给定训练样本和训练经验之后，机器学习问题就简化为一个寻找理想目标函数F(x)的问题。

（三）选择目标函数的表示形式：事实上，通过对样本的学习和训练来得到理想的目标函数F(x)是非常困难的，通常我们都希望能够得到一个近似的目标函数来尽量近似逼近理想的目标函数。这里的近似逼近，可以采用二次多项式函数、神经网络等方法来实现。

（四）选择函数逼近算法：为了得到近似目标函数，我们根据选择的初始近似目标函数对训练样本的输入进行估计，从而得到训练样本的估计输出，之后，利用估计输出与实际输出之间的误差来进行反馈，通常是进行权值调整。接着，对系统的输入进行重新估计，得到新的输出估计值，重新计算估计值与实际值之间的误差，再次对系统进行反馈，调整权重，依次重复执行直到所有训练样本的总误差小于设定的阈值或者训练次数大于设定的次数。