总体方差与样本方差

作者: 十年磨剑的简书 | 来源:发表于2019-12-20 21:56 被阅读0次

abtest
统计学笔记4 抽样分布
总体方差与样本方差
14、样本方差
总体方差的无偏估计
Statistics基本定理
样本方差为何除以n-1
样本方差与总体方差
统计学中的基本概念和重要公式（二）
数据统计的数学知识--方差、标准差的区别

最近看参数估计的时候总会遇到由样本均值和方差导出对总体均值和方差的无偏估计. 对于均值部分很好理解, 样本均值 $\overline{X}$ 即为总体均值 $\mu$ 的无偏估计
$\overline{X}=\frac 1n\sum_{i=1}^n X_i$
比较难懂的是对总体方差 $\sigma^2$ 的无偏估计, 给出的公式为 $S^2=\frac{1}{n-1}\sum_{i=1}^n(X^i-\overline{X})^2$
这里冒出一个 $n-1$ , 说它是 $\sigma^2$ 的无偏估计, 然后说样本二阶中心矩 $B_2=\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2$ 是总体方差的有偏估计, 因为 $EB_2=E(\frac{n-1}{n}S^2)=\frac{n-1}{n}\sigma^2\neq\sigma^2$
但这里并没有给样本方差无偏的根据, 生生除一个 $n-1$ 实在让人难以琢磨, 索性硬推一下, 搞搞明白.首先给出常用的期望与方差的性质:
$\begin{cases} EC=C \\ 对任意常数a和b, 有E(aX+bY)=aEX+bEY \\ 若随机变量X与Y相互独立, 则E(XY)=EX \cdot EY \\ E(c | Y)=c, c为任意常数 \\E(aX+b|Y)=aE(X|Y)+b \\E(aX_1 + bX_2|Y)=aE(X_1|Y)+bE(X_2|Y) \\EX=E[E(X|Y)], 重期望公式 \\VarX=E(X-EX)^2 \\VarX=EX^2 - (EX)^2 \\VarC=0 \\Var(aX)=a^2VarX \\Var(X\pm Y)=VarX+VarY \pm 2E[(X-EX)(Y-EY)] \end{cases}$
于是, 求一下样本的方差 $\begin{equation}\begin{split} \sigma_{样本}^2&=\frac1n \sum_{i=1}^n(x_i-\overline{x})^2 \\ &=\frac1n\sum_{i=1}^n[(x_i-\mu)+(\mu-\overline{x})]^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2+\frac2n\sum_{i=1}^n(x_i-\mu)(\mu-\overline{x})+\frac1n\sum_{i=1}^n(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2+\frac2n(\mu-\overline{x})(x_1+x_2+...+x_n-n\mu)+\frac1n\sum_{i=1}^n(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2+\frac2n(\mu-\overline{x})(n\overline{x}-n\mu)+(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2-(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2-\frac1n\sum_{i=1}^n(\overline{x}-\mu)^2\\ &=\sigma_{理想}^2-\frac1n\sum_{i=1}^n(\overline{x}-\mu)^2 \end{split}\end{equation}$
又因为
$\begin{equation}\begin{split} \frac1n\sum_{i=1}^n(\overline{x}-\mu)^2 &=\frac1n\sum_{i=1}^n(\frac{x_1+x_2+...+x_n}{n}-\mu)^2\\ &=\frac1n\sum_{i=1}^n(\frac{x_1+x_2+...+x_n-n\mu}{n})^2\\ &=\frac1n\sum_{i=1}^n(\frac1n[(x_1-\mu)+(x_2-\mu)+...+(x_n-\mu)])^2\\ &=\frac1n[\frac1n\sum_{i=1}^n(x_i-\mu)^2]\\ &=\frac1n\sigma_{理想}^2 \end{split}\end{equation}$
于是
$\sigma_{样本}^2=\sigma_{理想}^2-\frac1n\sigma_{理想}^2=\frac{n-1}{n}\sigma_{理想}^2$
即有
$\sigma_{理想}^2=\frac{n}{n-1}\sigma_{样本}^2=\frac{n}{n-1}\frac1n\sum_{i=1}^n(x_i-\overline{x})^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2$
推导完毕.