五、朴素贝叶斯
整个朴素贝叶斯分类分为三个阶段：
1.准备工作阶段，任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。
2.分类器训练阶段。这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。
3.应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。
朴素贝叶斯的三种模型
1.多项式模型
多项式模型跟我们思维是一样的，例如在上述条件概率中，“发票”一词语出现了三次，那利用条件独立假设条件之后，自然应该出现三次方，这就是多项式模型。
2.伯努利模型
在伯努利模型中我们可以看到，即使“发票”一词出现三次，但是我们在最终计算时只算一次。
3.混合模型
在混合模型中，我们计算句子概率时不考虑重复词语出现的次数，但在统计计算词语概率时考虑重复次数。
一张图概括三种模型：
平滑技术
我们先来看这样一种可能：我们在求P(“正规发票”|S)时，通常的做法就是在训练集中遍历，看看“正规发票”一词出现了多少次，但是好巧不巧，该词在训练集中一次都没有出现过，那概率不就是0了么，然后条件独立假设相乘。。。于是整个概率都变成了0，这显然是极不合理的，但是这种情况却不少见。
于是我们引入了平滑技术这一概念来解决这个问题：
朴素贝叶斯优缺点
优点：
对待预测样本进行预测，过程简单速度快
对于多分类问题也同样有效，复杂度也不会有大程度地上升。
在分布独立这个假设成立的情况下，贝叶斯的分类效果很好，会略胜于逻辑回归，我们需要的样本量也更少一点。
对于类别类的输入特征变量，效果非常好。对于数值型变量特征，我们默认它符合正态分布。
缺点：
如果测试集中的一个类别变量特征在训练集里面没有出现过，那么概率就是0，预测功能就将失效，平滑技术可以解决这个问题
朴素贝叶斯中有分布独立的假设前提，但是在现实生活中，这个条件很难满足。
网友评论