资讯频道 → 研发管理
阅读更多

0顶
0踩

研发管理

原创新闻 看待逻辑回归的12种方式

2015-04-23 09:31 by 副主编 mengyidan1988 评论(0) 有3876人浏览
逻辑回归 算法

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

逻辑回归(Logistic regression)是一种最流行的分类技术。实际上，它是如此流行，以至于各个领域都对其有独到见解。因此他们既可以使用，也可以在相同理论框架下比较逻辑回归和他们正在研究的技术。我试着复述我听说过的一些理解，鉴于我并不精于以下全部领域，所以可能会丢失一些细节。
  • 经典统计学学派解释。你的分类标签是基于样本特征通过二项分布产生的，你想要估计这个分布。
  • 贝叶斯统计学派解释。在前述理解之上，你估计的参数本身是不同分布的后验概率。如果你不预设先验概率，那这种理解基本上就和频率学派（即经典学派）的理解一样。
  • 隐含变量解释，在社会科学家和心理学家中很流行。存在隐含的连续变量决定了输出，取决于变量落在阈值哪边，但是我们只能看见最终输出。你的目标是尽可能准确地估计决定隐含变量的参数。
  • 肯塔基德比解释。你的参数代表了不同几率的乘积式权重（比如，一个4:1赔率的赌  博）。你的目标是计算每个特征的权重使最终结果和实际结果相同。
  • 不那么朴素的贝叶斯解释。类似于朴素贝叶斯，但是同时估计数据间的相关性/协方差，而不再假设变量相互无关。
  • 信息论解释。找到这样的参数，使得基于样本特征，输出标签的分布有最大熵。
  • 翘曲空间解释。在一个将标签维度进行逆S形变换的空间里，进行一种准线性回归。
  • 损失最小化解释。你有一个损失函数，给每个错误分类的样本一个惩罚值（惩罚值越高你的预测就越过度）。你对一个样本的分类方法是通过你的参数组合这个样本的各个特征，并应用一个sigmoid函数。找到让损失最小的参数。
  • 最小偏差解释，流行于精算师中。将你的数据看成张量，每个特征是一个维度，所有特征加起来看成一个点（只适用于离散特征）。试着给每个维度找到一个参数，这样当你将所有特征加起来，应用一个sigmoid函数，乘以点的值，二项式结果的损失最小。
  • 神经网络解释。你的特征和你的参数的点积形成一个刺激，传送给一个sigmoid激活函数，生成一个预测标签。你要最大化真实度（didelity），以后你的神经元可以记住处理过的数据的标签。
  • 支持向量解释。试着将你的数据通过一个超平面分开。对每一个数据点，计算对这个平面的“支持向量力”，与距离的logit值成正比。当你的“力”平衡的时候，你的超平面给你的就是结果参数。
  • 反馈解释。我们随机初始化参数。对于每一个观测值，我们计算特征和参数的点积。如果计算结果是负而实际输出是正，或者相反，将参数向量后移，即向特征向量的反方向移动。如果他们都同样是正或者负，将参数向量向着特征向量前移。这个对应着随机梯度下降的训练过程。

也许我少说了很多。尽管大家使用相似的基本工具集，相互之间跨领域的交流还比较少，即便在例如机器学习和统计、统计和精算这样相似的领域之间。也许这是因为大家都在自说自话，内容也限于他们内部。

作者：东狗
来自: 伯乐在线
0
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 关于逻辑回归损失和交叉熵

    关于逻辑回归的损失函数和交叉熵损失的一些看法

  • sklearn专题五：逻辑回归

    然而逻辑回归，是一种名为“回归”的线性分类器，其本质是由线性回归变化而来的，一种广泛使用于分类问题中的广义回归算法。要理解逻辑回归从何而来，得要先理解线性回归。线性回归是机器学习中最简单的的回归算法，...

  • 【逻辑回归】逻辑回归sigmoid函数怎么来的

    《老饼讲解-机器学习》：本文讲解，逻辑回归模型sigmoid函数由来的思路与推导。推导思路主要来源于香农信息量。

  • ccc-sklearn-5-逻辑回归

    逻辑回归概述、Sigmoid函数、.sklearn中的逻辑回归、二元逻辑回归损失函数的数学解释，公式推导、L1与L2正则化曲线实例、逻辑回归中的特征工程、梯度下降、银行评分卡实例

  • Sigmoid函数以及逻辑回归的由来

    线性回归时统计学经典算法，它能够拟合出一条直线来描述变量之间的线性关系。但在实际中，变量之 间的关系通常都不是一条直线，而是呈现出某种曲线关系。在统计学的历史中，为了让统计学模型能够更好地拟合曲线，...

  • 逻辑回归（一）基础理论

    一、从线性回归到线性分类 在先前的线性回归(一)基础理论中详细介绍过线性回归，现在思考一个问题：能否用这个模型解决离散标签的预测？ 虽然这个问题是显然的分类问题。但从模型的可行性角度来看，当然是可以的。下...

  • python 逻辑回归sklearn_sklearn中的逻辑回归

    然而逻辑回归，是一种名为“回归”的线性分类器，其本质是由线性回归变化而来的，一种广泛使用于分类问题中的广义回归算法。要理解逻辑回归从何而来，得要先理解线性回归。线性回归是机器学习中最简单的的回归算...

  • sklearn机器学习——逻辑回归（一）

    sklearn机器学习——逻辑回归（一）

  • 神经网络-逻辑回归

    神经网络-逻辑回归目录神经网络-逻辑回归 目录 逻辑回归 概念 tips 梯度下降 绘制计算分析图 方法 逻辑回归中的梯度下降 简单的算法描述 矢量化 tipsnumpy广播机制引起的隐形 bug 以及解决 回顾深度学习训练步走 ...

  • 从另一个视角看待逻辑回归

    摘要逻辑回归是用在分类问题中，而分类为题有存在两个比较大的方向：分类的结果用数值表是，比如1和0(逻辑回归采用的是这种)，或者-1和1(svm采用的)，还有一种是以概率的形式来反应，通过概率来说明此样本要一个类的...

  • AI实践之路：逻辑回归 Logistic Regression

    首先逻辑回归实际用于分类，回归这个名字的由来我记得是最先发明/使用的统计学家在写的书/文章中将该方法称为什么什么回归，于是后来也就沿用了这一叫法。后面百度了下这位统计学家是David Cox。 面对分类任务时，...

  • 信用违约判断逻辑回归实例--LogisticRegression

    2、逻辑回归模型知识准备模型目标： 分类0-1, 得到指定属性归类为1有多大概率，归类为0 有多大概率。--用于分类。适用： 经典二分类问题二元逻辑回归：回归结果分类0-1两类；多元逻辑回归：回归结果分类两类以上。...

  • 逻辑回归

    概述 1.名为“回归”的分类器

  • 逻辑回归的优点及构建模型的思路

    1、逻辑回归对线性关系的拟合效果好； 2、逻辑回归计算快； 3、逻辑回归返回的分类结果不是固定的0，1，而是以小数形式呈现的类概率数字； 4、抗噪能力强 逻辑回归在sklearn.linear_model下面 ...

  • 机器学习：逻辑回归原理

    然而，逻辑回归，是一种名为“回归”的线性分类器，其本质是由线性回归变化而来的，一种广泛使用于分类问题中的广义回归算法。要理解逻辑回归从何而来，要先从线性回归开始。线性回归是机器学习中最简单的回归算法，...

  • 线性回归与逻辑回归/朴素贝叶斯

    一、线性回归与逻辑回归 （一）线性回归 1. 算法概述 回归的目的是预测数值型的目标值。 线性回归的优点：结果易于理解，计算上不复杂。缺点：对非线性的数据拟合不好。适用数据类型：数值型和标称型数据。 ...

  • 机器学习小白修炼之路---逻辑回归(分类问题)

    逻辑回归 为什么要用逻辑回归 下面的图1可以看出使用线性的回归函数还是勉强可以分开的，以y值为0.5分界。直线的左边表示No，右边表示Yes。但是数据量一旦加多，例如图2，线性的回归函数就不适用了。 逻辑...

  • 算法笔记2——逻辑回归

    目录 ...二、两种角度看待逻辑回归 2.1 统计学角度：似然函数 2.2机器学习角度：损失函数 2.3 最终预测：从概率到选择 三 、模型评估 四、多元逻辑回归 五、scikit-learn中logistic regr...

  • 逻辑回归输出的值是真实的概率吗？

    但要深刻理解逻辑回归又不是那么容易的，比如说，逻辑回归输出的值是0到1之间的值，这个值是真实的概率吗？逻辑回归为什么要选择sigmoid函数的形式，而不是其他将数值映射到0到1之间的形式？本文试图给出一个尽可能...

  • 机器学习—深度学习之基础理论算法原理推导逻辑回归（Logistic Regression）算法原理推导

    逻辑回归（Logistic Regression）是一个经典的二分类算法，并非回归算法。在机器学习实际解决分类问题时，可优先考虑逻辑回归算法。逻辑回归的决策边界可以是非线性的。同时也可用其变形softmax完成多分类任务。 2....

Global site tag (gtag.js) - Google Analytics