贝叶斯学习笔记

一.什么是贝叶斯

       贝叶斯是数学统计分类发放.可以预测类成员关系的可能性.如果直接说起贝叶斯.那么他就是一个数学模型.

数学模型我的理解就是.将显示生活中的一些现象通过.数学公式予以表示.

 

二.关于贝叶斯朴素分类

      我们希望得出P(C|D)  D=document(文档)  C=category(类别)  如果八股一点可以这么陈述.在条件C下.D的后验概率.

      那么完整的贝叶斯公式就是 P(C|D) = P(D|C)*P(C)/P(D)

 

下面我们分别讲述每一个概率的含义

 

我们做个大胆的假设.每篇文章只有一个单词.那么就认为是一个term(向量) T

 

于是我么的公式可以改写为 P(C|T) = P(T|C)*P(C)/P(T)

 

其中

P(C|T) 是这个T(向量,单词) 属于C类别的概率

P(T|C) 是这个分类中T出现的概率

P(C)    是这个分类在总体情况下所占的比例

P(T)     是这个单词在所有情况下所占的比例

 

 

Ok.解释清楚了现在我们套用这个做个例子

 

 

 

有如下结构

 

 

 

C1(0.4)	C2(0.6)
IOS:30, JAVA:10	Android:30,JAVA:20

 

D:用户输入的document 中假设只有一个词 java 那么让我们来计算这篇文章应该属于哪个分类

 

假设 当用户发表一个文章.属于C1的概率为0.4 属于C2的概率为0.6

 

将'java'(单词)认为为T

 

 

P(T|C1) = 10/40 = 0.25

P(T|C2) = 20/50 = 0.4

 

P(C1) = 0.4 

P(C2) = 0.6

P(T)=P(T|C1)*P(C1)+P(T|C2)*P(C2)=0.25*0.4+0.4*0.6=0.34

 

 

P(C1|T) = P(T|C1)*P(C1) /P(T) :这个就是这篇文章属于分类1的概率

带入公式 P(C1|T) = 0.25*0.4/0.34=0.29411764705882352941176470588235

 

计算属于C2的概率如下

P(C2|T) = P(T|C2)*P(C2) /P(T) :这个就是这篇文章属于分类1的概率 

带入公式 P(C2|T) = 0.4*0.6/0.34= 0.70588235294117647058823529411765

 

 

可以看出P(C1|T)<P(C2|T) 那么这个文章应该属于分类2

 

 

恩介绍完了.