朴素贝叶斯

作者: 初七123 | 来源:发表于2017-10-08 11:34 被阅读30次

朴素贝叶斯是典型的生成方法。生成方法由训练数据学习联合概率分布P(X,Y),然后求得后验概率分布P(Y|X)。具体来说利用训练数据学习P(Y|X)、P(Y)的估计,得到联合概率分布

概率估计方法可以是极大似然估计或者贝叶斯估计(朴素贝叶斯和贝叶斯估计是不同的概念)

推导

条件独立性假设
朴素贝叶斯法对条件概率做了一个较强的假设

图片错误,应该是P(X=x|Y=ck)

“朴素贝叶斯”也因此得名

贝叶斯定理

条件独立性假设代入上式有

然后只需要使后验概率最大化
因为上式的分母与Ck无关,所以

后验概率最大化的含义

后验最大化的本质是使期望风险最小化

设选择0-1损失函数


参数估计

我们可以用极大似然估计或者贝叶斯估计(可参考附录)得到所有

先验概率

以及

条件概率

代入到后验概率最大化公式即可得到向量X的分类

附录

极大似然估计或者贝叶斯估计

参考

《统计学习方法》

相关文章

  • 算法笔记(7)-朴素贝叶斯算法及Python代码实现

    朴素贝叶斯算法有三种类型,分别是贝努利朴素贝叶斯、高斯贝叶斯、多项式朴素贝叶斯。 贝叶斯公式 贝努利朴素贝叶斯 适...

  • 朴素贝叶斯法

    朴素贝叶斯法 朴素贝叶斯法的学习与分类 朴素贝叶斯法的参数估计 朴素贝叶斯实现 高斯朴素贝叶斯实现 使用 skle...

  • 朴素贝叶斯(NBM)之后验概率最大化的含义 | 统计学习方法

    朴素贝叶斯 - 贝叶斯估计Python复现: 舟晓南:朴素贝叶斯(Bayes)模型python复现 - 贝叶斯估计...

  • 朴素贝叶斯算法介绍及优化

    朴素贝叶斯(Naive Bayes) 贝叶斯公式 朴素贝叶斯算法其实原理很简单,要理解朴素贝叶斯算法我们首先得知道...

  • 朴素贝叶斯法(NaiveBayes)

    朴素贝叶斯法(Naive Bayes) 朴素贝叶斯法是基于贝叶斯定力和特征条件独立假设的分类方法。 朴素贝叶斯法实...

  • 朴素贝叶斯算法

    问题 1. 什么是朴素贝叶斯 2. 怎么理解贝叶斯公式和朴素贝叶斯公式 3. 朴素贝叶斯算法流程是怎样...

  • 深度学习知识点汇总-机器学习基础(6)

    2.6 逻辑回归与朴素贝叶斯有什么区别? 逻辑回归是判别模型, 朴素贝叶斯是生成模型。 朴素贝叶斯属于贝叶斯,逻辑...

  • 朴素贝叶斯

    朴素贝叶斯 用处:朴素贝叶斯主要解决的是而分类的问题。 为什么叫朴素贝叶斯: 因为贝叶斯分类只做最原始,最简单的假...

  • sklearn-朴素贝叶斯

    朴素贝叶斯分为三种:高斯朴素贝叶斯、多项式朴素贝叶斯、伯努利朴素贝叶斯。这三种的不同之处在于求条件概率的公式不同。...

  • 第五周 - 20180507

    朴素贝叶斯的思路及实现 一、朴素贝叶斯简介 朴素贝叶斯法(Naive Bayes)是基于贝叶斯定理与特征条件独立假...

网友评论

    本文标题:朴素贝叶斯

    本文链接:https://www.haomeiwen.com/subject/rdzjyxtx.html