`
san_yun
  • 浏览: 2662290 次
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

机器学习使用的数学知识

 
阅读更多

1.线性代数(LinearAlgebra)

我想国内的大学生都会学过这门课程,但是,未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础,对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课,后来到了香港后,又重新把线性代数读了一遍,所读的是

Introduction to Linear Algebra (3rd Ed.)  by Gilbert Strang.

这本书是MIT的线性代数课使用的教材,也是被很多其它大学选用的经典教材。它的难度适中,讲解清晰,重要的是对许多核心的概念讨论得比较透彻。我个人觉得,学习线性代数,最重要的不是去熟练矩阵运算和解方程的方法——这些在实际工作中MATLAB可以代劳,关键的是要深入理解几个基础而又重要的概念:子空间(Subspace),正交(Orthogonality),特征值和特征向量(Eigenvaluesandeigenvectors),和线性变换(Lineartransform)从我的角度看来,一本线代教科书的质量,就在于它能否给这些根本概念以足够的重视,能否把它们的联系讲清楚。Strang的这本书在这方面是做得很好的。

而且,这本书有个得天独厚的优势。书的作者长期在MIT讲授线性代数课(18.06),课程的videoMITOpencourseware网站上有提供。有时间的朋友可以一边看着名师授课的录像,一边对照课本学习或者复习。

http://ocw.mit.edu/OcwWeb/Mathematics/18-06Spring-2005/CourseHome/index.htm

2.概率和统计(ProbabilityandStatistics):

概率论和统计的入门教科书很多,我目前也没有特别的推荐。我在这里想介绍的是一本关于多元统计的基础教科书:

AppliedMultivariateStatisticalAnalysis(5thEd.) byRichardA.JohnsonandDeanW.Wichern

这本书是我在刚接触向量统计的时候用于学习的,我在香港时做研究的基础就是从此打下了。实验室的一些同学也借用这本书学习向量统计。这本书没有特别追求数学上的深度,而是以通俗易懂的方式讲述主要的基本概念,读起来很舒服,内容也很实用。对于Linearregression,factoranalysis,principalcomponentanalysis(PCA),andcanonicalcomponentanalysis(CCA)这些Learning中的基本方法也展开了初步的论述。

之后就可以进一步深入学习贝叶斯统计和Graphicalmodels。一本理想的书是

Introduction to Graphical Models (draft version).  by M. Jordan and C. Bishop.

我不知道这本书是不是已经出版了(不要和LearninginGraphicalModels混淆,那是个论文集,不适合初学)。这本书从基本的贝叶斯统计模型出发一直深入到复杂的统计网络的估计和推断,深入浅出,statisticallearning的许多重要方面都在此书有清楚论述和详细讲解。MIT内部可以access,至于外面,好像也是有电子版的。

3.分析(Analysis)

我想大家基本都在大学就学过微积分或者数学分析,深度和广度则随各个学校而异了。这个领域是很多学科的基础,值得推荐的教科书莫过于

Principles of Mathematical Analysis, by Walter Rudin

有点老,但是绝对经典,深入透彻。缺点就是比较艰深——这是Rudin的书的一贯风格,适合于有一定基础后回头去看。

在分析这个方向,接下来就是泛函分析(FunctionalAnalysis)

Introductory Functional Analysis with Applications, by Erwin Kreyszig.

适合作为泛函的基础教材,容易切入而不失全面。我特别喜欢它对于谱论和算子理论的特别关注,这对于做learning的研究是特别重要的。Rudin也有一本关于functionalanalysis的书,那本书在数学上可能更为深刻,但是不易于上手,所讲内容和learning的切合度不如此书。

在分析这个方向,还有一个重要的学科是测度理论(Measuretheory),但是我看过的书里面目前还没有感觉有特别值得介绍的。

4.拓扑(Topology)

在我读过的基本拓扑书各有特色,但是综合而言,我最推崇:

Topology (2nd Ed.)  by James Munkres

这本书是Munkres教授长期执教MIT拓扑课的心血所凝。对于一般拓扑学(Generaltopology)有全面介绍,而对于代数拓扑(Algebraictopology)也有适度的探讨。此书不需要特别的数学知识就可以开始学习,由浅入深,从最基本的集合论概念(很多书不屑讲这个)到Nagata-SmirnovTheoremTychonofftheorem等较深的定理(很多书避开了这个)都覆盖了。讲述方式思想性很强,对于很多定理,除了给出证明过程和引导你思考其背后的原理脉络,很多令人赞叹的亮点——我常读得忘却饥饿,不愿释手。很多习题很有水平。

5.流形理论(Manifoldtheory)

对于拓扑和分析一定把握时,方可开始学习流形理论,否则所学只能流于浮浅。我所使用的书是

Introduction to Smooth Manifolds.  by John M. Lee

虽然书名有introduction这个单词,但是实际上此书涉入很深,除了讲授了基本的manifold,tangentspace,bundle,sub-manifold等,还探讨了诸如纲理论(Categorytheory)德拉姆上同调(DeRhamcohomology)积分流形等一些比较高级的专题。对于李群和李代数也有相当多的讨论。行文通俗而又不失严谨,不过对某些记号方式需要熟悉一下。

虽然李群论是建基于平滑流形的概念之上,不过,也可能从矩阵出发直接学习李群和李代数——这种方法对于急需使用李群论解决问题的朋友可能更加实用。而且,对于一个问题从不同角度看待也利于加深理解。下面一本书就是这个方向的典范:

Lie Groups, Lie Algebras, and Representations: An Elementary Introduction.  by Brian C. Hall

此书从开始即从矩阵切入,从代数而非几何角度引入矩阵李群的概念。并通过定义运算的方式建立exponentialmapping,并就此引入李代数。这种方式比起传统的通过左不变向量场(Left-invariantvectorfield)的方式定义李代数更容易为人所接受,也更容易揭示李代数的意义。最后,也有专门的论述把这种新的定义方式和传统方式联系起来。

————————————————————————————

无论是研究Vision,Learning还是其它别的学科,数学终究是根基所在学好数学是做好研究的基石学好数学的关键归根结底是自己的努力,但是选择一本好的书还是大有益处的。不同的人有不同的知识背景,思维习惯和研究方向,因此书的选择也因人而异,只求适合自己,不必强求一致。上面的书仅仅是从我个人角度的出发介绍的,我的阅读经历实在非常有限,很可能还有比它们更好的书(不妨也告知我一声,先说声谢谢了)。

分享到:
评论

相关推荐

    机器学习需要的数学知识基本资料

    机器学习所需要的基本数学知识的资料合集。学习完成后更便于将来学习机器学习。

    机器学习的数学基础.pdf

    高等数学是机器学习数学基础中最为重要的一部分,它主要包括微积分、微分方程等。其中,导数和微分的概念是高等数学中的核心内容。 导数的定义是用来描述函数在某一点处的瞬时变化率。其数学表达式有两种形式:一种...

    机器学习的数学理论及其算法研究——评《机器学习的数学理论》.pdf

    机器学习是指计算机通过固有的规律性信息获得新的经验和知识,从而提升计算机的智能,达到像人类一样作出决策的目的。机器学习的数学理论是研究机器学习算法的基础,涵盖了神经网络、深度学习、梯度下降法、优化理论...

    机器学习数学知识与学习心得.zip

    机器学习的特点就是:以计算机为工具和平台,以数据为研究对象,以学习方法为中心;是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个...所以就先介绍一下机器学习涉及到的一些最常用的的数学知识。

    人工智能机器学习必备数学知识0604 .doc

    这些数学知识构成了人工智能和机器学习的基础,无论是理解模型的内在机制,还是开发新的算法,都需要这些数学工具。通过深入学习并掌握这些概念,可以更好地理解和应用机器学习技术,解决实际问题。

    机器学习的数学基础

    接下来,我们将详细阐述机器学习所涉及的一些关键数学知识点。 首先,线性代数是机器学习中的重要组成部分。在机器学习中,标量、向量、矩阵和张量是线性代数中基础且重要的概念。 标量是只有一个分量的数学对象,...

    机器学习数学知识图谱

    列出机器学习所需要的数学知识,对入门机器学习者指点方向,快速找到需要学习的数学知识。

    机器学习常用数学知识

    讲述了机器学习常用的一些数学知识,如矩阵、特征值、期望、方差、高斯函数、高斯径向基函数、范数、方向导数、梯度等

    机器学习中的数学知识

    机器学习中常用的数学知识,非常全面的数学知识归纳总结,欢迎下载,并研究学习。

    机器学习的数学知识.zip

    在机器学习领域,数学知识是理解算法和模型基础的关键。这个名为"机器学习的数学知识.zip"的压缩包很可能包含了关于线性代数、概率论与统计、微积分以及优化理论等一系列基础数学概念的详细资料。下面我们将深入探讨...

    机器学习中数学基础

    从程博士的深度学习班课件中可以发现,这些数学知识点被重点讲解,并在实际问题中进行应用和思考。通过这些知识的学习,可以帮助研究人员和工程师深入理解机器学习模型的内在机制,从而更好地推动机器学习技术的发展...

    机器学习数学基础

    这些概念在压缩包文件“机器学习数学基础”中可能会有更详细的解释,包括相关的数学公式、实例演示以及代码实现,帮助学习者深入理解并应用这些技术。在学习过程中,理论知识与实践相结合至关重要,通过实际编程项目...

    机器学习基本数学知识-协方差矩阵\特征值\特征向量

    机器学习基本数学知识-协方差矩阵\特征值\特征向量

    一份简明《机器学习数学基础》丝滑入门手册(来自UC伯克利),47页pdf.pdf

    这些知识点都是机器学习数学基础的核心组成部分,为机器学习模型的构建、理解以及后续的算法实现提供了必要的理论支撑。在加州大学伯克利分校的CS189/289A入门课程中,这些概念会得到更多的应用和练习,从而帮助学生...

    人工智能机器学习数学知识

    ### 人工智能机器学习中的关键数学知识 随着人工智能技术的飞速发展,特别是在机器学习领域,数学成为了构建高效算法不可或缺的基础工具。本文旨在深入探讨对于从事人工智能领域的专业人士来说至关重要的数学知识,...

    机器学习中的基本数学知识

    在进行机器学习项目的开发时,掌握基本的数学知识是必不可少的前提条件,因为机器学习的算法和模型构建通常需要高等数学的知识,如线性代数、微积分、统计学和概率论等。本篇文章主要介绍了机器学习中所涉及的一些...

    机器学习有关的数学基础知识

    机器学习作为人工智能的重要分支,其核心是通过数据学习建立模型来预测或决策,而支撑机器学习模型建立的基础之一便是数学知识。特别是在数学基础方面,有四个关键领域必须掌握:线性代数、概率论、优化和信息论。...

Global site tag (gtag.js) - Google Analytics