`
highsky
  • 浏览: 274448 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

模式分类笔记 -- 统计学习(1)

阅读更多

一个linear threshold gate (LTG)可以用来把向量输入映射到二进制输出。

LTG

以太泛化的模型或情况来讨论只能掩盖其初始的动机和灵光。Treating a more general case will only obscure the basic ideas.

如果我们考虑这样的一个方程,y(x1, x2, x3) = x1'x2 + x2x3'(这里用‘来表示求反), x1,x2, x3取【0,1】。

那么三个变量就有2的3次方种组合,那么对于n个变量,则存在 m=2的n次方 个组合,LTG-example

当然这里n都是些二元变量,存在着2的m次方个不同的方式来把这m种组合标记成两种

不同的类别。又是一种排列组合。这个boolean function是线性可分的,例如右面这个

LTG实现,当然这个LTG只是众多可以用来完成划分的LTG中的一个。

一个单独的n维输入LTG只能表达这2的m次方个布尔方程的一个小子集 。能够被LTG表达的布尔方程是线性可分系统。比如说异或问题就不是线性可分的,这样的布尔方程成为non-threshold方程,反之就是threshold方程。当n->无穷时,能被threshold function表示的布尔方程与全体布尔方程的比值的极限等于0.这点我们可以从下面的自由度之比看出来。

有些逻辑门是可以被LTG表示的,比如说NAND (or NOR),这说明LTG也是一个普遍的逻辑门,any Boolean function is realizable using a network of LTG's (only two logic levels are needed)。除了NAND (or NOR), LTG还能实现一些更复杂的逻辑门,因此一个n输入的LTG比n输入的NAND (or NOR)更加powerful

 

考虑到很大的n时,线性可分性比例很小,所以我们应尝试设计一些更加powerful的逻辑门来实现non-threshold function,这可以通过扩展LTG的输入来实现 ,比如我们可以提供输入的积(products)或者与(andings)作为新输入提供给LTG,这显然就已经破坏了线性形式,:)。在这种情况下,我们需要一个固定的预处理与门层来增加输入空间的维度,我们期望这个新boolean function变成一个thershold function, 那么他就可以用一个LTG实现。这样QTG诞生了。

 

Quadratic Threshold Gates(QTG):

 

QTG-R(n)      QTG-Boolean(n)

 

x属于实数域和布尔域的时候,double summation term中index j 的范围不一样,首先他们都把xixj与xjxi(i<>j)看作一项,另外你发现在boolean域,把xixj(i = j)这项在后面也排除掉了,这是因为布尔域里xi *xi = xi, xi项在前面的一阶多项式里已经出现了。

 

 

LTG与QTG的自由度(参数数目)对比表格。

Threshold gate Number of degrees of freedom/parameters (including threshold -- 就是多项式里的b)
LTG n + 1
QTG Degrees of freedom-QTG-R(n)Degrees of freedom-QTG-B(n)

 

上面的QTG自由度就是简单的加加就出来了,贴在那里貌似很突兀。

 

我们可以看到产生的booleanfunction自由度(parameter)的数目明显增大,我们继而推广到Polynomial Threshold

Gates(PTG),PTG变成了一个很强大的门(gate)。

 

PTG

 

PTG的自由度:

 

Degree of freedom -PTG- R(n)

Degree of freedom -PTG- B(n)         

 

组合记法 表示m个点中每个取k时组合的数目,方便的记法而已。

分享到:
评论
1 楼 doudoulong2002ok 2008-11-29  
加油!有道理!呵呵

相关推荐

    《统计学习方法》python笔记

    统计学习方法主要涉及模式识别、概率论和统计推断等基础知识。这些方法包括监督学习、无监督学习和半监督学习。书中重点讨论了线性回归、逻辑回归、支持向量机、决策树、随机森林、神经网络、贝叶斯网络等多种模型...

    模式识别笔记推论及其考前冲刺押题

    2. "作业_chapter4_解答(1).pdf":这部分内容可能是第四章的作业解答,可能包含了与特征工程、概率模型或统计学习理论相关的题目,通过解答可以深化对这些章节的理解。 3. "作业_chapter3_解答(1).pdf":同理,这是...

    CCIE笔记-详细命令介绍

    ### CCIE笔记——详细命令介绍 #### 一、基本配置命令 在Cisco设备上进行配置时,有许多基本的命令是必须掌握的。这些命令对于设备的初始设置、安全管理以及日常维护至关重要。 - **hostname**: 用于更改路由器的...

    R语言笔记-常用函数、统计分析、数据类型、数据操作、帮助、安装程序包、R绘图.docx

    - **序列模式**:在数据分析中,序列模式是指在时间序列数据中发现的重复模式或趋势。 - **时间序列**:R语言提供了处理时间序列数据的工具,如`ts()`函数,用于创建时间序列对象。 2. **数据保存和输出格式**: ...

    模式识别复习笔记【湘潭大学】

    贝叶斯决策方法是统计模式识别中的一个基本方法,用这个方法进行分类时要求:各类别总体的概率分布是已知的;要决策分类的类别数是一定的。在连续情况下,假设对要识别的物理对象有 d 种特征观察量 x1, x2, ⋯, xd,...

    吴恩达-机器学习个人笔记完整版 pdf

    它基于数据,通过模式识别、统计分析和优化算法,使计算机能够从已有的例子中学习,而不是通过人为编程进行特定任务。机器学习可以分为监督学习、无监督学习、半监督学习和强化学习四大类。 监督学习是最常见的机器...

    机器学习手写笔记

    1. 神经网络(Neural Networks):模仿人脑的神经元结构,通过多层非线性变换进行信息处理和模式识别。 2. 决策树(Decision Trees):一种树形结构,每个内部节点代表一个属性上的测试,每个分支代表测试输出,每...

    机器学习个人笔记完整版.pdf.zip

    1. 监督学习:这是最常见的机器学习类型,包括回归和分类问题。例如,线性回归用于预测连续变量,逻辑回归和决策树用于处理二分类问题,而支持向量机(SVM)和神经网络则适用于更复杂的分类任务。 2. 无监督学习:...

    机器学习笔记整理

    解决多分类问题的一个常见方法是利用多个弱分类器通过集成学习(ensemble learning)的方式构建出一个强大的分类器。常用的多分类算法包括决策树、随机森林(random forest)等。 ##### 层次聚类 **层次聚类**...

    统计学习方法 [笔记, 代码, notebook, 参考文献, Errata]

    1. 统计学习理论基础:统计学习方法基于概率论和统计学,它包括监督学习、无监督学习和半监督学习等多种模式。书中首先介绍了学习问题的基本框架,包括实例、特征和假设空间。 2. 感知机:感知机是最早提出的二分类...

    linux-常用命令学习笔记.pdf

    以上就是Linux系统中一些常用命令的学习笔记。每个命令后面通常可以跟上不同的选项和参数,来满足不同的需求。掌握这些命令,对于Linux系统的日常运维工作至关重要。随着时间的推移,建议持续学习和实践,不断提高对...

    机器学习笔记

    这种学习过程通常涉及到统计方法的应用,以从大量数据中提取有用的信息,并基于这些信息做出预测或决策。 机器学习的应用十分广泛,包括但不限于自动驾驶汽车、语音识别、搜索引擎优化、基因组学分析等领域。随着...

    PRML pattern recognition and machine learning (最完整,包括学习笔记,习题答案,中文版,英文版电子档)

    在统计学习理论部分,书中讨论了风险最小化、泛化能力和Vapnik-Chervonenkis(VC)维度等概念,这些理论工具帮助我们理解模型复杂度与泛化能力之间的关系,以及如何通过交叉验证选择最佳模型。 习题解答部分是学习...

    机器学习视频笔记

    标题《机器学习视频笔记》所涉及的知识点非常丰富,涵盖了机器学习领域的多个重要概念和技术,下文将对标题和描述中提及的内容进行详细解读: 1. 机器学习的基本概念 - 什么是机器学习?:机器学习是人工智能的一个...

    斯坦福CS224n_自然语言处理与深度学习_笔记

    10. **文本生成**:包括文章摘要、诗歌创作、故事生成等,深度学习模型可以学习语言模式并自动生成连贯的文本。 通过阅读《斯坦福CS224n_自然语言处理与深度学习_笔记_hankcs.pdf》,你可以深入理解这些主题,掌握...

    统计机器学习-CMU 10-702 Lecture Notes

    这份笔记涵盖了统计机器学习的基础理论、方法和技术,旨在帮助学生和研究者构建坚实的理论基础,并掌握实际应用技巧。 统计机器学习的核心在于通过数学统计方法来构建模型,使计算机可以从数据中学习并进行预测或...

    统计机器学习-卡耐基梅隆大学705 Lecture Notes

    《统计机器学习》是计算机科学领域的一门重要课程,尤其在人工智能、数据挖掘和模式识别等方向具有广泛的应用。卡耐基梅隆大学(Carnegie Mellon University)的10-705 Lecture Notes提供了深入的理论讲解和实践指导...

    斯坦福机器学习复习笔记

    这本书可能会详细讨论特征提取、分类器设计以及模式识别的统计理论,对于想要深入理解模式识别的同学来说,是一本不可或缺的参考书。 在学习过程中,掌握这些知识点不仅能帮助你建立坚实的理论基础,还能提升解决...

    斯坦福机器学习笔记

    3. 主要课程内容:课程内容涵盖了机器学习、数据挖掘和统计模式识别的广泛主题,包括监督学习、无监督学习、机器学习最佳实践等。监督学习部分涵盖参数/非参数算法、支持向量机、核函数、神经网络;无监督学习部分...

Global site tag (gtag.js) - Google Analytics