朴素贝叶斯分类的M估计推导

      在使用朴素贝叶斯方法进行文本分类时，如果待分类的文本包含某个属性值在训练样本中不存在，则类条件概率为0，

这时候算出的所有类别的后验概率都是0，导致无法对文本分类。一般可采用M估计（M-Estimate）来平滑类条件概率的计算，从而得到非0的可比较的近似概率值，达到分类的目的。

 

      设 文本由一个属性向量x=(x1,x2,x3,...xn)表示，给定分类集合Y={yj|yj 属于Y}

      求 文本向量的一个属性xi 对于分类yj的类条件概率P(xi|yj)。

      首先假设Nyj 是分类yj的样本总数，Nxi是包含属性xi且属于分类yj的样本数。

      由概率知识得到：

             P(xi|yj) = Nxi / Nyj                                    ------公式1

      如果采用M-Estimate，得到的公式是

             P(xi|yj) = (Nxi + mp) / (Nyj + m)               ------公式2

      其中p是 P(xi|yj) 的近似值，即有 Nxi / Nyj  ~= p

 

      由公式1和p逐步推导出公式2的过程如下：

             为简化起见，设 a = Nyj, b = Nxi， 则 p ~= b / a, 可得：

             P(xi | yj) = b / a

                           = b(a+m) / a(a+m)    

                           = (ba + bm) / a(a+m)

                           = (b + m*(b/a)) / (a+m)

                           ~= (b + mp) / (a+m)                   -------- 用 p ~= b / a 代入。

                           = (Nxi + mp) / (Nyj + m)

       得证。

 

      M估计的实际应用：

       1. 多项式模型：

            m = |V|，p = 1/|V|, 这里|V|为样本空间V的词库大小。

       2. 伯努利模型：

            m = 2， p = 1/2

           至于为什么m取2，我还没弄懂，期待有知道的朋友分享一下。