Stanford Online Machine Learning 学习笔记1——单变量线性回归

TomMitchell 对机器学习的定义是：Acomputer program is said to learn from experience E, with respect to some taskT, and some performance measure P, if its performance on T, as measuredby P, improves with experience E. 很押韵，诗情画意。简单说就是指程序可以从经验E中学习，让任务T的性能提高，性能通过P来度量。

机器学习分为监督学习（Supervised learning）、无监督学习（Unsupervised learning），以及增强学习（Reinforcement learning）和推荐系统（Recommender system）。监督学习是指在训练的时候就知道正确结果，比如教小孩子给水果分类，先给他一个苹果，然后告诉他，这是苹果，再给他一个苹果，接着告诉他，这是苹果，经过这样反复的训练学习，如果再给他苹果的时候，问他，这是什么？他应该告诉你，这是苹果。如果给他一个梨，他应该告诉你，这不是苹果。监督学习分为两类：回归（Regression）和分类（Classification），如果机器学习算法的输出值是连续值，则属于回归问题，如果是离散值，则属于分类问题。和监督学习不同，无监督学习在训练的时候并不知道正确结果，继续上面的例子，给小孩子一堆水果，比如有苹果、橘子、梨三种，小孩子一开始不知道这些水果是什么，让小孩子对这堆水果进行分类。等小孩子分类完后，给他一个苹果，他应该他这个苹果放到刚刚分好的苹果堆中去。无监督学习常用的方法是聚类（Clustering）。增强学习是在机器学习算法程序运行的过程中，我们对他的行为作出评价，评价有正面和负面两种，通过学习评价程序应该做出更有可能得到好评价的行为。

这次主要讲线性回归中的单变量线性回归，先给几个定义：

m：表示训练集中样本的个数。

x：输入变量，也就是特征，可以有多个，对于单变量线性回归只有一个输入。

y：输出变量，即目标值。

(x, y)：训练样本集。

(x⁽ⁱ⁾, y⁽ⁱ⁾)：第i个训练样本。

线性回归的目标是根据给定的训练样本集合，训练得到一个线性目标函数h，通过这个函数，对其他未知输入可以预测出正确结果，目标函数表示为：

我们的目标就是找到合适的和。

怎么知道找到的目标函数是否正确？

我们应该有一个评价函数来比较预测值和目标值之间的差距，差距越小，目标函数就越准确，评价函数表示为：

其中是预测值，y是样本的目标值。当,评价函数J是关于自变量的开口向上的抛物线。当,评价函数J是一个关于变量和的三维曲面。我们的目标就是最小化评价函数：

怎样求得目标函数？

我们采用梯度下降法（Gradient descent），就像下山，按一定的步伐大小往下走，直到山底，如图所示：

算法过程如下：

repeat until convergence{

(for j=0 andj=1) （1）

}

其中为正数，表示学习速度，即我们采用多大的步长更新，值越大表示学习速度越快，小则表示学习速度慢。和必须同步更新，即

我们来看看梯度下降法的几何意义，我们把问题简化，令,则评价函数J为关于自变量的开口向上抛物线，对J进行求导得到的是抛物线上一点的切线的斜率。当斜率为正时，式（1）第二项的结果为正，则越来越小，越小，评价函数的值越接近抛物线的中线位置，即越接近最小值。同理当斜率为负时，第二项结果为负，减去负数表示加上一个正数，所以越来越大，越大，评价函数的值越接近抛物线的中线位置，即越接近最小值。可以用如下图表示：

再来看看的意义，当太小，更新的很慢，梯度下降算法执行将收敛的很慢；当太大，梯度下降算法有可能超过目标值（最小值），导致无法收敛，甚至发散。如下所示：

尽管的值是固定的，梯度下降算法也会收敛到局部最小值，因为当接近最小值时，斜率（即J求导得到的值）会越来越小，所以（1）的第二项会越来越小，所以没必要时刻的减少值。

把目标函数带入（1）式，求导后，则梯度下降算法的最终结果如下：

repeat until convergence{

(for j=0 andj=1)

}

以上是本人学习斯坦福大学教授Andrew Ng的机器学习在线课堂的笔记，地址是：http://www.ml-class.org/course/class/index，如需转载，请注明出处：http://blog.csdn.net/huagong_adu/article/details/7272810