机器学习相关概念和开发工具

基本概念：
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

开发工具
MATLAB是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分。
MATLAB是matrix&laboratory两个词的组合，意为矩阵工厂（矩阵实验室）。是由美国mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言（如C、Fortran）的编辑模式，代表了当今国际科学计算软件的先进水平。

1、机器学习的动机与应用
（1）监督学习和分类问题（回归），即给出标准的输出输出，让算法学习大量样本数据后，按照样本趋势输出标准答案。
（2）无监督学习（聚类样本），即无法给出数据的标准答案，只能由算法寻找相似样本集合。（例如两个人同时说话，使用无监督学习算法分别区分出两个的声音）
（3）强化学习，定义好的行为和坏的行为，好的行为则为增值奖励，坏的行为降值惩罚，期望后续行为尽量趋近于好的行为。（应用于机器人，直升机自动飞行）

2、梯度下降（线性回归）
参见http://chenbowen00.iteye.com/blog/2224831

3、欠拟合（特征值单一）于过拟合（选取多个特征值）
参数学习算法，非参数学习算法，局部加权线性回归，logistic算法，感知算法
进度
http://open.163.com/movie/2008/1/E/D/M6SGF6VB4_M6SGHKAED.html