
1.2 条件概率与贝叶斯公式
古典概率公式:如果一个可重复的实验可能出现N种不同的结果,实验的一组事件为{A1,A2,…,Ai},那么所有结果出现的可能性是相同的。假设任意事件Ai发生的结果有N个,则事件Ai发生的频率为Q(Ai)=N/M。如果N趋向于无穷大,则相对频率Q(Ai)无限接近于概率P(Ai),则,

条件概率:在已知事件B发生的情况下,事件A发生的概率我们称为条件概率P(A|B)。

变换上述公式,可得:

上述公式的一般形式称作概率的乘法规则,下式为其一般形式以及性质。

性质:1)P(A|B)≥0;
2)P(Ω|B)=1;
3)如果事件Ai为独立不相容的:

如果Ai,Aj条件独立,则:
P(Ai,Aj|B)=P(Ai|B)P(Aj|B)
全概率公式:假设样本空间为Ω,实验的一组事件为{B1,B2,…,Bi},事件两两相斥,

则B1,B2,…,Bn为样本空间Ω的一个划分。事件A的全概率公式可以表示为:

贝叶斯公式:

贝叶斯决策理论(Bayesian decision theory):是把贝叶斯公式应用于分类问题的基本理论之一。如果一个分类问题有n个类别,用fi,i=1,2,…,n表示任意一个类别。特征x是一个m维的向量,则可以表示为[x1,x2,…xm]T。那么每个类别的先验概率为P(fi),各个类别的条件概率P(x|fi)是已知条件,利用贝叶斯公式可得后验概率P(fi|x):

贝叶斯公式的目的是将已知的先验概率转化为后验概率。但在分类决策过程中,可以尽量得到错误率最小的分类规则,这样的规则被称为最小错误率的贝叶斯决策。
最小错误率的贝叶斯决策规则表现为:
1)假设,则有x∈fi
2)假设,则有x∈fi
3)假设l(x)=P(x|f1)/P(x|f2)>f2/f1,则有x∈f1
通过利用贝叶斯公式,可以判断一句话“鼠标、键盘、显示器都是计算机外设”属于IT类、金融类、还是体育类,如表1-1所示。
表1-1 IT、体育、金融3个分类的文本训练语料

应用贝叶斯定理和条件概率可以做简单的文本分类。
∵P(x|IT)=P(鼠标、键盘、显示器都是计算机外设|IT)
=P(鼠标|IT)P(键盘|IT)P(显示器|IT)P(都|IT)P(是|IT)P(计算机|IT)P(外设|IT)
结果如表1-2所示。
表1-2 计算单词在IT、体育、金融3个分类上加1平滑的条件概率

根据表1-2可以计算得到:


通过贝叶斯决策得到:鼠标、键盘、显示器都是计算机外设,属于IT类。