垃圾邮件识别任务中朴素贝叶斯分类算法的使用思路

垃圾邮件识别任务中朴素贝叶斯分类算法的使用思路

判断一个邮件是否是垃圾邮件：

step1. 训练模型过程：

1.计算先验概率：
如现有200封正常邮件，100封垃圾邮件可得到：

$P(正常邮件)=\frac{200}{200+100}=\frac{2}{3}$

$P(垃圾邮件)=\frac{100}{200+100}=\frac{1}{3}$
2.生成词库：

把总共300封邮件中出现的所有文本分词后，填入词库，得到包含所有出现过的词的词库$V$
假设词库$V$中有3000个词则$Len(V)=3000$

3.计算词库中每一个词在正常邮件和垃圾邮件中出现的概率：
如“点击”这个词在20个正常邮件中出现过，在60个垃圾邮件中出现过，假设一个邮件中有20个词则：

“点击”在正常邮件中出现的概率为：
$P(点击|正常邮件)=\frac{20}{200\ast 20}=\frac{1}{200}$

“点击”在垃圾邮件中出现的概率为：
$P(点击|垃圾邮件)=\frac{20}{100\ast 20}=\frac{1}{100}$

但是由于一些情况如“特惠”这个词在垃圾邮件中出现过，但是在正常邮件中没有出现导致：
$P(特惠|正常邮件)=\frac{0}{200\ast 20}=0$

所以这里要采用一个平滑技术 ，朴素贝叶斯中一般使用Add-one Smoothing
即如果出现次数为零，为了让值不为零，分子需要+1，分母需要加上词库的大小$Len(V)=3000$，因此：

“点击”在正常邮件中出现的概率为：
$P(点击|正常邮件)=\frac{20+1}{200\ast 20+3000}=\frac{3}{1000}$

“点击”在垃圾邮件中出现的概率为：
$P(点击|垃圾邮件)=\frac{20+1}{100\ast 20+3000}=\frac{1}{250}$

……
以此推类，分别计算出词库$V$中每一个词在正常邮件及垃圾邮件中出现的概率

假设这里得到了：
$P(点击|正常邮件)=\frac{3}{1000}$
$P(点击|垃圾邮件)=\frac{1}{250}$

$P(链接|正常邮件)=\frac{1}{5000}$
$P(链接|垃圾邮件)=\frac{1}{230}$

$P(购买|正常邮件)=\frac{7}{2200}$
$P(购买|垃圾邮件)=\frac{1}{310}$

$P(工作|正常邮件)=\frac{1}{210}$
$P(工作|垃圾邮件)=\frac{1}{5000}$
……

当所有单词的概率计算完成后朴素贝叶斯模型就训练完毕。

step2.预测过程：

预测的最终目标是判断：
比较$P(正常邮件|内容)$ 和 $P(垃圾邮件|内容)$

根据贝叶斯公式：

对比$P(正常邮件|内容)$和$P(垃圾邮件|内容)$

相当于对比$\frac{P(内容|正常邮件)P(正常邮件)}{P(内容)}$和$\frac{P(内容|垃圾邮件)P(垃圾邮件)}{P(内容)}$

由于分母相同，所以

相当于对比$P(内容|正常邮件)P(正常邮件)$ 和$P(内容|垃圾邮件)P(垃圾邮件)$的大小

假如此时收到了一封新邮件，邮件中包含很多词，其中有“工作”、“购买”，“链接”，“点击” ……等等

1.计算：$P(内容|正常邮件)P(正常邮件)$

$P(内容|正常邮件)P(正常邮件)=(P(工作|正常邮件)\times P(购买|正常邮件)\times P(链接|正常邮件)\times ....\times P(点击|正常邮件))\times P(正常邮件)=(\frac{1}{210}\times \frac{7}{2200}\times \frac{1}{5000}\times ....\times \frac{3}{1000})\times \frac{2}{3}$

2.计算：$P(内容|垃圾邮件)P(垃圾邮件)$

$P(内容|垃圾邮件)P(垃圾邮件)=(P(工作|垃圾邮件)\times P(购买|垃圾邮件)\times P(链接|垃圾邮件)\times ....\times P(点击|垃圾邮件))\times P(垃圾邮件)=(\frac{1}{5000}\times \frac{1}{310}\times \frac{1}{230}\times ....\times \frac{1}{250})\times \frac{1}{3}$

这里也可以看到有非常多类似$P(工作\mid 垃圾邮件)$的值在相乘，如果其中有任何一个值等于0的话，会导致整个式子等于0。这也是为什么要做Smoothing平滑处理

3.对比第一步和第二步计算出的值

如果$P(内容|正常邮件)P(正常邮件)>=P(内容|垃圾邮件)P(垃圾邮件)$则预测此邮件为正常邮件
如果$P(内容|正常邮件)P(正常邮件)<P(内容|垃圾邮件)P(垃圾邮件)$则预测此邮件为垃圾邮件

需要注意的点：

当词库数量非常大时，每一个类似$P(工作\mid 垃圾邮件)$的值会非常非常小，小数位过多时导致计算机不能存储。会报underflow错误
都知道$Log$是个严格递增函数所以step2.预测过程中第一步和第二步的式子也可以转化成：

$Log(P(内容|正常邮件))P(正常邮件)=Log((P(工作|正常邮件)\times P(购买|正常邮件)\times P(链接|正常邮件)\times ....\times P(点击|正常邮件))\times P(正常邮件)=(\log \frac{1}{210}+\log \frac{7}{2200}+\log \frac{1}{5000}+....+\log \frac{3}{1000})\times \frac{2}{3}$（以正常邮件举例，如果正常邮件做了这个处理那么垃圾邮件也要做这个处理）

PS

以上为学习过程中的对网络上资料的内容整理及理解

最后

以上就是温暖冰棍为你收集整理的垃圾邮件识别任务中朴素贝叶斯分类算法的使用思路的全部内容，希望文章能够帮你解决垃圾邮件识别任务中朴素贝叶斯分类算法的使用思路所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。