极大似然估计与最大似然估计

1、极大似然估计是一种目前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。

      可以这么理解，在多次试验中，试验条件X使众多试验结果的A结果发生的概率很大，我们计算这个试验条件的相关参数。你还可以更广泛地理解，在X发生的前提下，A发生的概率很大，我们知道A发生的概率，需要求出X发生的相关参数

    极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。 　

2、求极大似然函数估计值的一般步骤：

　　（1） 写出似然函数；

　　（2） 对似然函数取对数，并整理；

　　（3） 求导数 ；

　　（4） 解似然方程

　　极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。

  　当然极大似然估计只是一种粗略的数学期望，要知道它的误差大小还要做区间估计。

3、

最大似然估计法的基本思想
　　最大似然估计法的思想很简单：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个作为真的估计。
　　我们分两种情进行分析：
　　1．离散型总体　
　　设为离散型随机变量，其概率分布的形式为，则样本 的概率分布为，在固定时，上式表示 取值的概率；当固定时，它是的函数，我们把它记为 并称为似然函数。似然函数的值的大小意味着该样本值出现的可能性的大小。既然已经得到了样本值，那它出现的可能性应该是大的，即似然函数的值应该是大的。因而我们选择使 达到最大值的那个作为真的估计。

　　2．连续型总体
　　设为连续型随机变量，其概率密度函数为则为从该总体抽出的样本。因为相互独立且同分布，于是，样本的联合概率密度函数为
，在是固定时，它是在处的 密度，它的大小与落在附近的概率的大小成正比，而当样本值固定时，它是的函数。我们仍把它记为并称为似然函数。类似于刚才的讨论，我们选择使最大的那个作为真的估计。
　　　　　　　　　　　　　

　　总之，在有了试验结果即样本值时，似然函数反映了的各个不同值导出这个结果的可能性的大小。 我们选择使达到最大值的那个作为真的估计。这种求点估计的方法就叫作最大似然法。   

　 7.2.2　最大似然估计的求法
　　假定现在我们已经观测到一组样本要去估计未知参数。一种直观的想法是，哪一组能数值使现在的样本出现的可能性最大，哪一组参数可能就是真正的参数，我们就要用它作为参数的估计值。这里，假定我们有一组样本.如果对参数的两组不同的值和，似然函数有如下关系
　　 ,
　　那么，从又是概率密度函数的角度来看，上式的意义就是参数使出现的可能性比参数使出现的可能性大，当然参数比更像是真正的参数.这样的分析就导致了参数估计的一种方法，即用使似然函数达到最大值的点,作为未知参数的估计，这就是所谓的最大似然估计。 现在我们讨论求最大似然估计的具体方法.为简单起见，以下记,求θ的极大似然估计就归结为求的最大值点.由于对数函数是单调增函数，所以
　　　　　　　　　　   　　　　　(7.2.1)

　与有相同的最大值点。而在许多情况下，求的最大值点比较简单，于是，我们就将求的最大值点改为求的最大值点.对关于求导数，并命其等于零，得到方程组
　　　　　　　　　　,                           (7.2.2)
　　称为似然方程组。解这个方程组，又能验证它是一个极大值点，则它必是，也就是的最大值点，即为所求的最大似然估计。大多常用的重要例子多属于这种情况。然而在一些情况下，问题比较复杂，似然方程组的解可能不唯一，这时就需要进一步判定哪一个是最大值点。
　　还需要指出，若函数关于的导数不存在时，我们就无法得到似然方程组 (7.2.2)，这时就必须根据最大似然估计的定义直接去的最大值点。
　　在一些情况下，我们需要估计。如果分别是的最大似然估计，则称为的最大似然估计。
　　下面我们举一些例子来说明求最大似然估计的方法。

 例 7.2.1 设从正态总体抽出样本，这里未知参数为mm 和（注意我们把看作一个参数）。似然函数为
　　　　　　　　           
              　　　　　 =
　　它的对数为
　　，
　　似然方程组为

　　由第一式解得
，               (7.2.3)
    代入第二式得
.             (7.2.4)
　　似然方程组有唯一解(，)，而且它一定是最大值点，这是因为当或或∞时，非负函数。于是和的最大似然估计为
　　　　　　　　 ，.         (7.2.5)
　　这里，我们用大写字母表示所有涉及的样本，因为最大似然估计和都是统计量，离开了具体的一次试验或观测，它们都是随机的。
　　例7.2.2　设总体服从参数为的泊松分布，它的分布律为
　　　　　　　　 ，
　　有了样本之后，参数λ的似然函数为
，

　　似然方程为
，
　　解得
　　　　　　　　　　　　 .
　　因为的二阶导数总是负值，可见，似然函数在处达到最大值。所以，是λ的最大似然估计。
　　例7.2.3 设总体为上的均匀分布，求的最大似然估计。
　　的概率密度函数为
　　　　　　　　　
　　对样本，
　　　　　　　　　

　　很显然，L(a，b)作为a和b的二元函数是不连续的。这时我们不能用似然方程组(7.2.2)来求最大似然估计，而必须从最大似然估计的定义出发，求L(a，b)的最大值。为使L(a，b)达到最大，b－a应该尽量地小，但b又不能小于，否则，L(a，b)=0。
　　类似地，a不能大过。因此，a和b的最大似然估计为
　　　　　　　　　 ，
.　
　　现在为止，我们以正态分布，泊松分布，均匀分布的参数以及事件发生的概率的估计为例子讨论了矩估计和最大似然估计。在我们所举的例子中，除了均匀分布外，两种估计都是一致的。矩估计的优点是简单，只需知道总体的矩，总体的分布形式不必知道。而最大似然估计则必须知道总体分布形式，并且在一般情况下，似然方程组的求解较复杂，往往需要在计算机上通过迭代运算才能计算出其近似解。