朴素贝叶斯算法文本分类原理

序

本文主要简单研究一下朴素贝叶斯算法是如何对文本进行分类的。

贝叶斯算法

贝叶斯方法把计算“具有某特征的条件下属于某类”的概率转换成需要计算“属于某类的条件下具有某特征”的概率，属于有监督学习。

后验概率　＝　先验概率 ｘ 调整因子

这就是贝叶斯推断的含义。我们先预估一个"先验概率"，然后加入实验结果，看这个实验到底是增强还是削弱了"先验概率"，由此得到更接近事实的"后验概率"。

公式

p(yi|x) = p(yi) * p(x|yi) / p(x)

p(所属类别yi|某种特征x) = p(所属类别yi) * p(某种特征x|所属类别yi) /p(某种特征x)

根据公式就可以把计算“具有某种特征的条件下属于某个类别”的概率转换为：“属于某种类别的条件下，具有某种特征”的概率。

先验概率

其中p(yi)称为先验概率，即在x事件发生之前，发生yi事件的概率

后验概率

p(yi|x)称为后验概率，即在x事件发生之后，发生yi事件的概率，属于可观测的值

调整因子

p(x|yi)/p(x)为调整因子，也成为可能性函数(Likelyhood)，使得预估概率更接近真实概率

朴素贝叶斯算法

朴素贝叶斯理论源于随机变量的独立性：就文本分类而言，从朴素贝叶斯的角度来看，句子中的两两词之间的关系是相互独立的，即一个对象的特征向量中每个维度都是相互独立的。这是朴素贝叶斯理论的思想基础。其流程如下

- 第一阶段，训练数据生成训练样本集：TF-IDF。
- 第二阶段，对每个类别计算P(yi)。
- 第三阶段，对每个特征属性计算所有类别下的条件概率p(ai|yi)。
- 第四阶段，对每个类别计算p(x|yi)p(yi)。
- 第五阶段，以p(x|yi)p(yi)的最大项作为x的所属类别。

问题

假设x是一个待分类文本，其特征为{a1,a2,...,am}；已知类别集合{y1,y2,...yn}；求x所属的类别

基本思路

如果p(yi|x) = max{p(y1|x),p(y2|x),p(y3|x),...,p(yn|x)}，则x属于yi类别

如何计算p(yi|x)

利用贝叶斯公式

p(yi|x) = p(x|yi)*p(yi) / p(x)

问题转换为对每个类别计算p(x|yi)p(yi)，以p(x|yi)p(yi)的最大项作为x的所属类别

计算p(x|yi)

由于朴素贝叶斯假定各个特征是相互独立的，因此

p(x|yi) = p(a1|yi)*p(a2|yi)...*p(am|yi)

p(x|yi)/p(x)为调整因子

计算p(ai|yi)

而p(ai|yi)则可以通过训练集(已经分好类)，统计各个类别下面各种特征的条件概率p(ai|yi)得到。

自此求x所属的类别p(yi|x)被一步步化解，可以通过计算训练集中每个类别下各种特征的条件概率p(ai|yi)来求解得到。

而训练的过程则是根据训练集去计算调整因子的影响因素p(x|yi)=p(a1|yi)p(a2|yi)...p(am|yi)，因此训练集的好坏直接影响预测结果的准确性。

TF-IDF

TF-IDF（ term frequency–inverse document frequency ）是一种用于信息检索与数据挖掘的常用加权方法。

TF-IDF = TF * IDF

TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率 TF 高，并且在其他文章中很少出现（IDF值大），则认为此词或者短语具有很好的类别区分能力，适合用来分类。

TF

意思是词频( Term Frequency )，即某个词在文件中出现的频率

TFi = Ndti / Ndt1..n

即该词在文档中出现的次数/该文档所有词出现的次数之和

IDF

意思是逆向文件频率( Inverse Document Frequency )，它是一个词语重要性的调整系数，衡量一个词是不是常见词。如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。

某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到

IDF = log(Nd/Ndt)

Nd为总文件数，Ndt为包含该词语的文件数目

如果一个词非常常用则Ndt变大，则IDF值会变小，因而TF-IDF值也会变小，这样就很好地削弱了常用词的特征性。

小结

朴素贝叶斯算法将问题一步步化解，最后通过训练集求解，值得好好学习推敲。