Chapter5—大数定理与中心极限

作者: crishawy | 来源:发表于2019-08-12 17:15 被阅读0次

Chapter5—大数定理与中心极限
中心极限定理与大数定律
中心极限定理与大数定理
第一课数学基础
讲讲大数定理
中心极限定理的matlab演示
三大抽样分布与检验：卡方分布，t分布和F分布及其相关检验
大数据统计基础第七周笔记
人工智能学习笔记-Day09
大数定律与中心极限定理

大数定理是研究随机变量序列的算术平均的收敛性问题；而中心极限定理是研究随机变量有限和的分布函数的收敛性问题。

注意：大数定律与中心极限定义研究的是随机变量序列 $\{X_{n}\}$

1. 切比雪夫不等式

这说明方差越小，随机变量取值密集在数学期望附近的概率越大，这个结论也说明方差是描述随机变量取值与数学期望离散程度的一个量。

2. 随机变量序列的极限

定义：

设 $X_{1},X_{2},\cdots,X_{n},\cdots$ 是一随机变量序列，如果存在一个常数 $a$ ，使得对任意一个实数 $\varepsilon>0$ ，总有
$\lim_{n\rightarrow \infty}P(|X_{n}-a|<\varepsilon)=1$ 成立，则称随机变量序列 $X_{1},X_{2},\cdots,X_{n},\cdots$ 依概率收敛于 $a$ ，记为 $X_{n}\stackrel{P}{\longrightarrow a}$ 。
依概率收敛的直观意义是：当 $n$ 充分大时，随机变量序列 $\{X_{n}\}$ 与 $a$ 的距离充分小的事件概率趋于1.

如何证明用频率来表示概率？

在 $n$ 重贝努里试验中，设 $N_{A}$ 为事件 $A$ 发生的次数，每次试验发生的概率 $P(A)=p$ ，则 $A\sim B(n,p)$ ，事件A发生的频率为 $\frac{N_{A}}{n}$ ，则
$\begin{split} &E(\frac{N_{A}}{n})=\frac{np}{n}=p\\ &D(\frac{N_{A}}{n})= \frac{np(1-1)}{n^{2}} = \frac{p(1-P)}{n} \end{split}$ 根据切比雪夫不等式可得，对任意一个实数 $\varepsilon>0$ ，当 $n \rightarrow\infty$ 时，有
$0\le P(|\frac{N_{A}}{n}-p|\ge \varepsilon) \le \frac{p(1-p)}{n\varepsilon} \le \frac{1}{4n\varepsilon}\rightarrow 0$ 则有 $\frac{N_{A}}{n}\stackrel{P}{\longrightarrow}p$ ，上述证明即为频率稳定性的严格证明。

3. 大数定律

定义:

设 $\{X_{n}\}$ 是一随机变量序列，其数学期望 $E(X_{n})$ 存在， $n=1,2,\cdots,$ ，令 $\varepsilon_{n}=\frac{1}{n}\sum_{i=1}^{n}X_{i}$ ，若 $\varepsilon_{n}-E(\varepsilon_{n})\stackrel{P}{\longrightarrow}0$ ，则称随机变量序列 $\{X_{n}\}$ 服从大数定律。

三种大数定律：

切比雪夫大数定律：设 $X_{1},X_{2},\cdots,X_{n},\cdots$ 是相互独立的随机变量序列，如果存在常数 $C$ ，使得 $D(X_{i})\le C,i=1,2,\cdots,$
则此随机变量序列服从大数定律，即对任意的 $\varepsilon > 0$ ，有
$\lim_{n\rightarrow\infty}P(|\frac{1}{n}\sum_{i=1}^{n}X_{i}-\frac{1}{n}\sum_{i=1}^{n}E(X_{i})|<\varepsilon)=1$

贝努里大数定律：设 $N_{A}$ 是 $n$ 重贝努里试验中 $A$ 发生的次数， $p$ 是 $A$ 发生的概率，则对任意的实数 $\varepsilon > 0$ ，有
$\lim_{n\rightarrow\infty}P(|\frac{N_{A}}{n}-p|<\varepsilon) =1$ 上式实际上就是频率稳定性的严格数学描述。

辛钦大数定律：设 $X_{1},X_{2},\cdots,X_{n},\cdots$ 是独立同分布的随机变量序列，且
$E(X_{i})=\mu,i=1,2,\cdots,$ 则对任意的实数 $\varepsilon >0$ ，有
$\lim_{n\rightarrow\infty}P(|\frac{1}{n}\sum_{i=1}^{n}X_{i}-\mu|<\varepsilon) =1$ 由辛钦大数定律可知，当n充分大时，对某随机变量的n次测量结果 $x_{1},x_{2},\cdots,x_{n}$ 的算术平均值作为该随机变量的期望的近似值。

4. 中心极限定理

中心极限定理本质上是研究随机变量序列的有限和在什么条件下，它的极限分布是标准正态分布的问题。

定义：

凡是使得概率分布函数 $F_{n}(x)\stackrel{n\rightarrow \infty}{\longrightarrow} \phi(x)$ 一致成立的定理都叫做中心极限定理。其中 $\phi(x)$ 是标准正态分布的概率分布函数。

随机变量序列的标准化：

令
$\varepsilon_{n}=\frac{\sum_{i=1}^{n}[X_{i}-E(X_{i})]}{\sqrt{D(\sum_{i=1}^{n}X_{i})}}$ 则有
$E(\varepsilon_{n})=0,D(\varepsilon_{n})=1,n=1,2,\cdots,$ 所以 $\varepsilon_{n}$ 就是 $\sum_{i=1}^{n}X_{i}$ 经标准化后的随机变量序列。

独立同分布下的中心极限定理：

设 $X_{1},X_{2},\cdots,X_{n}$ 是独立同分布的随机变量序列，当 $n$ 充分大时，可近似认为
$\frac{\sum_{i=1}^{n}X_{i}-n\mu}{\sqrt{n}\sigma}\sim N(0,1)$ 或
$\sum_{i=1}^{n}X_{i}\sim N(n\mu,n\sigma^{2})$ 一般地，当 $n$ 充分大时，可用以下近似等式计算概率
$\begin{split} &(1). \space \space \space P(a<\frac{\sum_{i=1}^{n}X_{i}-n\mu}{\sqrt{n}\sigma} \le b)\approx \phi(b)-\phi(a)\\ &(2). \space\space \space P(a<\sum_{i=1}^{n}X_{i} \le b)\approx \phi(\frac{b-n\mu}{\sqrt{n}\sigma})- \phi(\frac{a-n\mu}{\sqrt{n}\sigma} )\end{split}$

拉普拉斯中心极限定理：

设 $N_{A}$ 是 $n$ 次独立重复试验中事件 $A$ 发生的次数， $p$ 是每次试验事件A发生的概率， $N_{A}\sim B(n,p)$ ，则对任意有限区间 $(a,b]$ ，有 $\lim_{n\rightarrow\infty}P(a<\frac{N_{A}-np}{\sqrt{np(1-p)}} \le b)= \phi(b)-\phi(a)$

Chapter5—大数定理与中心极限
大数定理是研究随机变量序列的算术平均的收敛性问题；而中心极限定理是研究随机变量有限和的分布函数的收敛性问题。注意...
中心极限定理与大数定律
中心极限定理通俗介绍中心极限定理收敛至大数定律什么是中心极限定理（Central Limit Theorem）...
中心极限定理与大数定理
一、中心极限定理1、定义（1）样本的平均值约等于总体的平均值。（2）不管总体是什么分布，任意一个总体的样本平均值都...
第一课数学基础
1. 牛顿法 2.贝叶斯公式 3.大数定律和中心极限定理大数定律中心极限定理 4. 参数估计点估计：矩估计 ...
讲讲大数定理
转自：俊红的数据分析之路的讲讲大数定理前面我们讲过中心极限定理，没看过的同学可以去看看：讲讲中心极限定理。这...
中心极限定理的matlab演示
在中心极限定理之前先说一下大数定理大数定理（弱大数定理）：假如随机变量,...相互独立，服从同一分布，具有相同的...
三大抽样分布与检验：卡方分布，t分布和F分布及其相关检验
1、基石：大数定律和中心极限定律大数定理。不管是强大数定理还是弱大数定理，都表达着这样一个意思：当样本数量足够大...
大数据统计基础第七周笔记
切比雪夫不等式弱大数定理伯努利大数定理独立同分布的中心极限定理 Lyapunov定理二项分布近似正态分布 ...
人工智能学习笔记-Day09
中心极限定理+大数定理任意概率分布独立叠加，将还原为正态分布。 x与p(x)的关系，取得x值时的概率是p(x)，...
大数定律与中心极限定理
大数定律（原理解释）大数定律本质上证明了之前用平均概率（数学期望）代替频率的合理性，随机变量算术平均依概率收...