美文网首页深度学习数量遗传或生统
极大似然估计(ML 估计)

极大似然估计(ML 估计)

作者: zidea | 来源:发表于2019-12-11 20:14 被阅读0次

极大似然估计(ML 估计)

ML 是 maximum likehood 的缩写，如果我们将模型描述为一个概率模型，那么我们就希望得到在参数\theta 能够使训练集输入时，输出概率达到极大。那么什么又是似然呢?
P(X|\theta) = \prod_{i=1}^N p(x_i|\theta)

\hat{\theta} = \arg \max_{\theta} p(X|\theta) = \arg \max_{\theta} \prod_{i=1}^N p(x_i|\theta)

假设暗箱中有 2 红球和篮球两个球，有放回抽取小球，结果是1红1蓝，根据抽取结果进行判断暗箱中是 1 红 1蓝结果比较合理，这个估计就是最大似然估计。

\begin{aligned} p(X|\theta) = \theta^{x_1 + x_2}(1-\theta)^{2-x_1-x_2} \end{aligned}

  • 这里\theta 是估计红球概率
  • x_i 表示每一次取球结果，如果取中红球就是 1 否则为 0

\begin{aligned} p(X|\theta) = \theta^{x_1 + x_2}(1-\theta)^{2-x_1-x_2} \\ \Rightarrow \ln P(X|\theta) = (x_1 + x_2) \ln \theta + (2-x_1-x_2)\ln (1-\theta) \end{aligned}
求极值值就是转化为求导问题，那么就是对上面式求导

\begin{aligned} \Rightarrow \frac{\partial p}{\partial \theta} = \frac{x_1 + x_2}{\theta} - \frac{2 - x_1 - x_2}{1 - \theta} \\ \frac{\partial p}{\partial \theta} = 0 \Rightarrow \theta = \frac{x_1 + x_2}{2} \end{aligned}

\begin{cases} x_1 = 1 & x_2 = 0 & \hat{\theta} = 0.5 \\ x_1 = 1 & x_2 = 1 & \hat{\theta} = 1 \\ x_1 = 0 & x_2 = 0 & \hat{\theta} = 0 \\ \end{cases}

这里应该不难理解如果两次取出分别是红球和篮球那么也就是 x_1,x_2 都是 1 和 0 那么x_1 + x_2 = 1 从而\theta = 0.5 也就是取出红球概率值为 0.5，那么根据样本从而判断箱子内为红球和篮球各一个。

相关文章

  • 极大似然估计(ML 估计)

    极大似然估计(ML 估计) ML 是 maximum likehood 的缩写，如果我们将模型描述为一个概率模型，...

  • 极大似然估计

    极大似然估计 以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计...

  • 极大似然估计

    极大似然估计(Maximum Likelihood Estimation,MLE)，也称最大似然估计。“似然”是对...

  • 极大似然估计

    序 极大似然估计和最大后验估计是机器学习中常用的两种参数估计方法。本次记录MLE的原理和用法，为后续推导LR等目标...

  • 极大似然估计

    动机 在学习机器学习算法过程中，发现很多算法策略都采用极大似然估计， 如：线性、逻辑回归，决策树，隐马尔科夫模型。...

  • 极大似然估计

    极大似然估计是一种参数估计的方法（知模型求参数）。先验概率是 知因求果，后验概率是 知果求因，极大似然是 知果求最...

  • 极大似然估计

    现实情况中我们可能会遇到这样的一些例子，需要得到一所高校有车学生的分布情况（假定符合参数为p的伯努利分布），某地区...

  • 极大似然估计

    似然函数 似然函数（likelihood function）是一种关于统计模型中的参数的函数，既然是函数那自变量就...

  • 极大似然估计

    极大似然估计 我们也可以理解为最像估计法或者最可能估计法。 通俗理解：对于一个事件的发生我们的猜测是基于一...

  • 极大似然估计

    1. 什么是似然函数? 本质是关于随机数X的概率密度函数,只不过没有给定参数.概率密度函数反映的是给定值 的事件发...

网友评论

    本文标题：极大似然估计(ML 估计)

    本文链接：https://www.haomeiwen.com/subject/hvuagctx.html

    延伸阅读

    深度阅读

    • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

    栏目导航

    热点阅读

    深度学习

    数量遗传或生统

    关于我们|服务条款|联系我们|极大似然估计(ML 估计)|投稿指南|网站地图|RSS订阅|排版工具|手机版

    提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

    Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

    备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！