`
蒙面考拉
  • 浏览: 160236 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

似然函数的理解

 
阅读更多

数理统计学中,似然函数是一种关于统计模型中的参数函数,表示模型参数中的似然性。似然函数在统计推断中有重大作用,如在最大似然估计费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近,都是指某种事件发生的可能性,但是在统计学中,“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下,预测接下来的观测所得到的结果,而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计。

在这种意义上,似然函数可以理解为条件概率的逆反。在已知某个参数B时,事件A会发生的概率写作\mathbb{P}(A \mid B)

P(A \mid B) = \frac{P(A , B)}{P(B)} \!

利用贝叶斯定理

P(B \mid A) = \frac{P(A \mid B)\;P(B)}{P(A)} \!


因此,我们可以反过来构造表示似然性的方法:已知有事件A发生,运用似然函数\mathbb{L}(B \mid A),我们估计参数B的可能性。形式上,似然函数也是一种条件概率函数,但我们关注的变量改变了:

b\mapsto P(A \mid B=b)  \!

注意到这里并不要求似然函数满足归一性:\sum_{b \in \mathcal{B}}P(A \mid B=b) = 1。一个似然函数乘以一个正的常数之后仍然是似然函数。对所有α > 0,都可以有似然函数:

L(b \mid A) = \alpha \; P(A \mid B=b) \!

例子

两次投掷都正面朝上时的似然函数

考虑投掷一枚硬币的实验。通常来说,已知投出的硬币正面朝上和反面朝上的概率各自是pH = 0.5,便可以知道投掷若干次后出现各种结果的可能性。比如说,投两次都是正面朝上的概率是0.25。用条件概率表示,就是:

P(\mbox{HH} \mid p_H = 0.5) = 0.5^2 = 0.25

其中H表示正面朝上。

在统计学中,我们关心的是在已知一系列投掷的结果时,关于硬币投掷时正面朝上的可能性的信息。我们可以建立一个统计模型:假设硬币投出时会有pH 的概率正面朝上,而有1 − pH 的概率反面朝上。这时,条件概率可以改写成似然函数:

L(p_H =  0.5 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = 0.5) =0.25

也就是说,对于取定的似然函数,在观测到两次投掷都是正面朝上时,pH = 0.5似然性是0.25(这并不表示当观测到两次正面朝上时pH = 0.5概率是0.25)。

如果考虑pH = 0.6,那么似然函数的值也会改变。

L(p_H = 0.6 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = 0.6) =0.36
三次投掷中头两次正面朝上,第三次反面朝上时的似然函数

注意到似然函数的值变大了。这说明,如果参数pH 的取值变成0.6的话,结果观测到连续两次正面朝上的概率要比假设pH = 0.5 时更大。也就是说,参数pH 取成0.6 要比取成0.5 更有说服力,更为“合理”。总之,似然函数的重要性不是它的具体取值,而是当参数变化时函数到底变小还是变大。对同一个似然函数,如果存在一个参数值,使得它的函数值达到最大的话,那么这个值就是最为“合理”的参数值。

在这个例子中,似然函数实际上等于:

L(p_H = \theta  \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = \theta) =\theta^2 , 其中0 \le p_H  \le 1

如果取pH = 1,那么似然函数达到最大值1。也就是说,当连续观测到两次正面朝上时,假设硬币投掷时正面朝上的概率为1是最合理的。

类似地,如果观测到的是三次投掷硬币,头两次正面朝上,第三次反面朝上,那么似然函数将会是:

L(p_H = \theta  \mid \mbox{HHT}) = P(\mbox{HHT}\mid p_H = \theta) =\theta^2(1 - \theta) , 其中T表示反面朝上,0 \le p_H  \le 1

这时候,似然函数的最大值将会在p_H = \frac{2}{3}的时候取到。也就是说,当观测到三次投掷中前两次正面朝上而后一次反面朝上时,估计硬币投掷时正面朝上的概率p_H = \frac{2}{3}是最合理的。

 应用

最大似然估计

最大似然估计是似然函数最初也是最自然的应用。上文已经提到,似然函数取得最大值表示相应的参数能够使得统计模型最为合理。从这样一个想法出发,最大似然估计的做法是:首先选取似然函数(一般是概率密度函数概率质量函数),整理之后求最大值。实际应用中一般会取似然函数的对数作为求最大值的函数,这样求出的最大值和直接求最大值得到的结果是相同的。似然函数的最大值不一定唯一,也不一定存在。与矩法估计比较,最大似然估计的精确度较高,信息损失较少,但计算量较大。

似然比检验

似然比检验是利用似然函数来检测某个假设(或限制)是否有效的一种检验。一般情况下,要检测某个附加的参数限制是否是正确的,可以将加入附加限制条件的较复杂模型的似然函数最大值与之前的较简单模型的似然函数最大值进行比较。如果参数限制是正确的,那么加入这样一个参数应当不会造成似然函数最大值的大幅变动。一般使用两者的比例来进行比较。尼曼-皮尔森引理说明,似然比检验是所有具有同等显著性差异的检验中最有统计效力的检验。

 

分享到:
评论

相关推荐

    似然函数 Likelihood Function

    ### 似然函数 Likelihood Function #### 一、似然函数的概念 在机器学习与统计学领域中,似然函数(Likelihood ...通过对似然函数的理解和应用,我们可以更加准确地理解和解释数据,进而构建更加有效的预测模型。

    轮廓似然函数及其应用_韩栋1

    轮廓似然函数是一种在统计建模中处理障碍参数的有效方法,尤其在回归分析中当模型包含多个非目标参数时。该方法由韩栋和陈征在2011年中国卫生统计学年会上提出,旨在解决最大似然估计面临的挑战。 在传统的似然函数...

    逻辑回归 S函数 极大似然

    2. **求解似然方程**:通过对似然函数取对数得到对数似然函数,然后对参数求偏导并设置为0,形成似然方程组。 3. **使用优化方法求解**:对于复杂的模型,可能需要使用数值方法来求解似然方程组,常见的方法有梯度...

    garch.zip_garch_似然函数

    标题中的"**garch.zip_garch_似然函数**"表明这是一个关于GARCH模型的代码压缩包,它包含了构建似然函数以及计算梯度和海森矩阵的实现。 GARCH模型的基本形式是GARCH(1,1),即: \[ \sigma_t^2 = \alpha_0 + \alpha...

    GGD.rar_GGD函数_ggd_shape parameter_似然函数_广义高斯

    在标题"GGD.rar_GGD函数_ggd_shape parameter_似然函数_广义高斯"中,涉及的关键点主要包括GGD函数、形状参数、似然函数以及广义高斯分布的基本概念。 1. **GGD函数**: 广义高斯分布函数通常以参数形式表示,包括...

    对数似然:对数似然函数-matlab开发

    在机器学习和统计建模中,对数似然是...总的来说,理解和熟练掌握对数似然函数及其在MATLAB中的应用是提升数据分析和建模能力的关键步骤。通过不断的实践和学习,你可以更好地利用这一工具解决各种统计和机器学习问题。

    matlab_基于粒子滤波的故障检测,使用似然函数作为检测函数

    在本项目中,我们主要探讨的是利用Matlab编程环境实现基于粒子滤波(Particle Filter, PF)的故障检测方法,并采用似然函数作为检测函数。粒子滤波是一种非线性、非高斯状态估计方法,它在处理复杂系统模型时表现...

    niesou_V5.1.zip_niesou_似然函数

    总的来说,"niesou_V5.1.zip_niesou_似然函数"这个压缩包提供的资源,将帮助用户深入理解ML和MAP的概念,以及如何在MATLAB环境中实现它们。无论是为了学术研究还是实际工程问题,掌握这些方法都将对提升数据驱动决策...

    copula 的极大似然估计_copula_matlab_极大似然值_copulamatlab_

    似然函数是基于Copula密度函数和边际分布的组合,它表示给定参数时观测数据出现的概率。 接下来,利用MATLAB的优化工具箱,如`fminunc`或`fmincon`,来求解似然函数的最大值。这个过程涉及到求解非线性优化问题,...

    EmGm.zip_emgm_emgmm_em参数估计_似然函数_高斯模型

    通过迭代这两个步骤,我们可以逐步优化参数,直到模型的似然函数达到局部最优或满足停止条件。 **似然函数** 在统计学中,是模型参数估计的基础。对于混合高斯模型,似然函数是所有观测数据点属于各自对应高斯分布...

    60. Logistic Regression 为什么用极大似然函数 - aliceyangxi1987的博客 - CSDN博客

    当我们希望模型对每个样本的预测概率最大化时,最大化似然函数等价于最小化对数似然损失。此外,对数似然损失的梯度更新相对稳定,仅依赖于输入特征x和真实标签y,这有助于训练过程的收敛。 对数似然损失的另一个...

    maximum likelihood estimation_最大似然估计_

    最大化这个对数似然函数相当于最小化负对数似然函数。在MATLAB程序中,我们可以定义一个函数来计算这个表达式,然后使用优化工具箱中的函数找到使负对数似然函数最小的θ值。 这两个MATLAB程序可能包含以下步骤: 1...

    极大似然 S函数 逻辑回归 具体案例 学习笔记

    - **似然函数**: 给定一组训练数据\((x^{(1)}, y^{(1)}), (x^{(2)}, y^{(2)}), ..., (x^{(m)}, y^{(m)})\),似然函数为\(L(\theta) = \prod_{i=1}^{m} [P(y^{(i)}|x^{(i)}; \theta)]^{y^{(i)}} [1 - P(y^{(i)}|x^{(i...

    知识的不确定性与不确定推理(可信度方法主观贝叶斯模糊推理概率分配函数正交和似然函数信任函数).ppt

    此外,信任函数和似然函数的关系揭示了如何在不确定性环境下量化对某个假设的信任程度。 证据理论和可能性理论是处理不确定性的另外两种方法。证据理论通过证据的不确定性测度来表达信息的不完整性,而模糊推理则...

    贝叶斯公式及最大似然估计的理解与应用

    内容概要:本文深入解析先验概率与后验概率的概念,并介绍了它们与似然函数、...阅读指南:建议细致理解每种概率形式的实际应用场景,同时对比不同估算方法的特点及其适用条件,掌握最大化似然函数求参数的技术手段。

    正态分布数据的极大似然估计MATLAB实现

    通过对μ和σ分别求偏导数并将它们置零,我们可以找到使对数似然函数最大化的μ和σ的值。这个过程在MATLAB中可以通过优化工具箱中的函数来实现,例如`fminunc`或`fmincon`。 在进行分类时,假设我们已经对训练集...

    参数的最大似然估计与矩估计PPT学习教案.pptx

    最大似然估计(Maximum Likelihood Estimation, MLE)基于概率论的思想,它旨在找到一组参数,使得观察到的数据出现的概率(即似然函数)最大。 最大似然法的基本思想是,如果已知数据样本 (X1, ..., Xn) 来自某个...

    最大似然,最大似然估计,matlab源码.zip

    2. **构建似然函数**:似然函数表示给定参数时,观测数据出现的概率。对于一组独立同分布的数据点,似然函数是每个数据点的概率的乘积。例如,对于正态分布,似然函数为:`L(θ|x) = Π_i f(x_i|μ,σ^2)`,其中`f(x...

Global site tag (gtag.js) - Google Analytics