美文网首页机器学习
强化学习所需的概率基础——期望、均值和方差

强化学习所需的概率基础——期望、均值和方差

作者: 黑暗米迦勒 | 来源:发表于2020-05-16 18:18 被阅读0次

首先我也是小白,二懂二懂的,这里只是做个自己的学习记录,以后好随时查看。
很多地方可能不严谨,不过自己明白才是最重要的,所以不要当成学术性文章来看哈,拒绝各种喷子。
当然,非常欢迎指出我的问题,帮助我进步。

仅仅是几个定义

其实期望、均值和方差,就是几个概念而已,不过名字感觉比较高大上,其实弱到爆。

本文按下列顺序来描述这几个概念

  • 期望值
  • 均值
  • 方差

期望值

有书里又叫数学期望 或者简称期望
注意:这里说的期望,是个定值是个定值是个定值

数学上的定义

以概率(或密度)为权重的加权平均值。(完全不好理解)

按我的理解其实就是描述一个随机变量概率分布的中心值。

举个🌰

之前我们说过扔骰子,它的数学期望是3.5,是不是觉得有点懵,我计算一下你再看马上就不懵了:

扔骰子的数学期望值 = 1\times\frac{1}{6} + 2\times\frac{1}{6} + 3\times\frac{1}{6} + 4\times\frac{1}{6} + 5\times\frac{1}{6} + 6\times\frac{1}{6} = 3.5

是不是弱到爆,对,期望就这么简单。

数学表达

机器学习的书中会出现,这里还是记录一下,不然看机器学习的书的时候会很懵。
一般用\mathbb{E}表示期望的公式

后面两个公式用到的表示法

X表示一个随机变量
\mathcal{D} 表示随机变量取值范围
p(x) 是概率密度函数
f(x) 是表示随机变量的某次取值

连续随机变量的期望表达

\mathbb{E}[f(X)]=\int_{\mathcal{D}}p(x) \cdot f(x)dx

这个公式该这样理解:一个连续随机变量将它的概率密度和观测值的乘积,把这个随机变量所有取值都算上做定积分,就能得到这个随机变量的期望值。
(这句话如果看不懂的话,可以看看之前的关于概率密度函数 和 随机变量的相关文章)

离散随机变量的期望表达

\mathbb{E}[f(X)]=\sum_{{x\in\mathcal{D}}}p(x) \cdot f(x)
和连续随机变量的理解方式差不多,只是不是做积分,而是做求和而已。

均值

不严谨的说,期望值其实就是均值
唯一不一样的地方是,均值是根据样本数决定的,无限样本的情况下,均值无限接近于期望。
书中一般用符号:\mu 来表示

不过我不当数学家,我只需要了解概念就差不多了,为的是能看懂强化学习里的内容,所以我认为到这里就够了。

方差

方差真的一开始不好理解,我之前一直没理解到,为什么TM的叫方差
难道这个TM的长的是方的?
最TM恶心的地方是,这个名词在统计学概率学中的定义,是TM不一样的!!!

只有忍了,只看概率学方面的吧。

定义

是一个随机变量与它的期望之间的差的平方的加权平均值。
怎么理解呢,可以这样想,方差其实是一个描述变化幅度的指标。
一组数据方差越大,那么他的离散度越大。

数学表达

长这样:Var(X) = E[(X - \mu)^2]
其中\mu就是期望值(或均值)

举个🌰

还是骰子,我们来计算一下方差:
\begin{aligned} \\ & = \frac{(1-3.5)^2 + (2-3.5)^2 + (3-3.5)^2 + (4-3.5)^2 + (5-3.5)^2 + (6-3.5)^2}{6} \\ & = \frac{(-2.5)^2 + (-1.5)^2 + (-0.5)^2 + 0.5^2 + 1.5^2 \times + 2.5^2}{6} \\ &= \frac{17.5}{6} = \frac{35}{12} \end{aligned}

白话的解释

就是一个随机变量的取值与期望值的“距离”,用两者差的平方表示。
原来TM方差的这个,指的就是这个平方

顺带引出的"标准差"

方差既然是带平方的,那开方后会肿么样?
数学上把开方后的方差又做了一个名词叫:标准差

小结

学习强化学习,期望、均值和方差,我觉得先了解这么多就够了,还是那句话:缺啥补啥

相关文章

  • 强化学习所需的概率基础——期望、均值和方差

    首先我也是小白,二懂二懂的,这里只是做个自己的学习记录,以后好随时查看。很多地方可能不严谨,不过自己明白才是最重要...

  • ②基础理论之概率统计

    二. 概率统计 离散型概率分布 1. 数学期望 (加权平均值) = 平均值 = 值*概率 累加 2.方差 3.协...

  • 概率基础2:期望、方差和正态分布

    这是概率基础的第二篇,说说期望、方差,正太分布。 1、期望 数学含义:就是平均值。 计算公式:E(x)=P1X1+...

  • 总体方差的无偏估计

    样本平均值average: 样本方差variance: 总体均值(期望)mean: 总体方差variance: 样...

  • 1.4 概率基础

    1.4 概率基础 本节介绍概率、随机变量、期望、方差等概率论的基础知识。 1.4.1 概率 概率是指一个事件出现(...

  • [散] 概率论与数理统计

    概率基础 1.常用公式 加法公式 全概率公式 常见分布的期望和方差 E(X) D(X)(0-1) ...

  • 样本方差为何除以n-1

    1.设样本均值为,样本方差为,总体均值为,总体方差为,那么样本方差的公式为: 2.概率补充 (1)为何样本均值的方...

  • 协方差(Covariance)

    1 期望、方差、标准差 概率论与数理统计中,最基本概念就是均值、方差、标准差,n个样本xi的集合X。 具体公式描述...

  • Statistics基本定理

    概念: 总体均值 总体方差 样本均值 样本方差 无偏估计:用样本统计估计总体参数时,估计量的均值(数学期望)与未知...

  • 统计自然语言处理

    预备知识 一、概率论 1.1 期望和方差 期望值是指随机变量所取值的概率平均。 方差是描述该随机变量的值偏离其期望...

网友评论

    本文标题:强化学习所需的概率基础——期望、均值和方差

    本文链接:https://www.haomeiwen.com/subject/sklrohtx.html