美文网首页统计学
统计学习-笔记1

统计学习-笔记1

作者: 努力奋斗的durian | 来源:发表于2018-12-29 21:53 被阅读49次

最近更新:2018-12-23

1.集中趋势
2.变异性
3.归一化
4.正态分布
5.抽样分布
6.估计

对于这部分的内容还是比较熟悉的,都是复习比较多,更加注重于练习与理解.

1.集中趋势

1.1众数

出现频率最高的数.

备注:

  • 通过计数得到;
  • 不易受数据中极端数值的影响

1.2中位数

把样本值排序,分布在最中间的值;
样本总数为奇数时,中位数为第(n+1)/2个值;
样本总数为偶数时,中位数是第n/2个,第(n/2)+1个值的平均数;

备注:

  • 仅需把数据按数据顺序排列后即可确定;
  • 不易受数据中极端数值的影响.

1.3平均数

所有数的总和除以样本数量;

备注:

  • 需要全组所有数据来计算;
  • 易受数据中极端数值的影响.

小结:
现在大家接触最多的概念应该是 平均数,但有时候,平均数会因为某些极值(Outlier)的出现收到很大影响;

2.变异性

2.1 四分位数

上面说到了“中位数”,把样本分成了2部分,再找个这2部分各自的“中位数”,也就把样本分为了4个部分,其中1/4处的值记为Q1,2/4处的值记为Q2,3/4处的值记为Q3


2.2 四分位距 IQR=Q3-Q1

2.3 异常值(Outlier):

小于Q1-1.5(IQR)或者大于Q3+1.5(IQR);

备注:对于异常值,我们在处理时需要剔除;

2.4 方差(Variance):

2.5 平方偏差(Standard Deviation):

方差的算术平方根

2.6 贝塞尔矫正:修正样本方差

-问:为什么要用贝塞尔矫正?

实际在计算方差时,分母要用n-1,而不是样本数量n,原因如下

3.归一化

3.1 标准分数(Z-score)

一个给定分数 距离 平均数 多少个标准差?

标准分数是一种可以看出某分数在分布中相对位置的方法。

标准分数能够真实的反映一个分数距离平均数的相对标准距离。


适用条件:

  • 正态分布总体抽样或样本容量大于30,两个条件满足其一即可.

4.正态分布

4.1 定义:

随机变量X服从一个数学期望为μ,方差为σ²的正态分布,记为N(μ,σ²)

随机取一个样本,有68.3%的概率位于距离均值μ有1个标准差σ内;

有95.4%的概率位于距离均值μ有2个标准差σ内;
有99.7%的概率位于距离均值μ有3个标准差σ内;

备注:
正态分布也称高斯分布,具有集中性,对称性特征.

5.抽样分布

5.1 中心极限定理(Central Limit Theorem)

设从均值为μ,方差为σ²的任意一个总体中抽取样本量为n的样本,当n充分大时,样本均值的抽样分布近似服从均值为μ、方差为σ²/n的正态分布


5.2 抽样分布(Sampling Distributions)

设总体共有N个元素,从中随机抽取一个容量为n的样本,在重置抽样时,共有N·n种抽法,即可以组成N·n不同的样本,在不重复抽样时,共有N·n个可能的样本。

每一个样本都可以计算出一个均值,这些所有可能的抽样均值形成的分布就是样本均值的分布。但现实中不可能将所有的样本都抽取出来,因此,样本均值的概率分布实际上是一种理论分布。

数理统计学的相关定理已经证明:在重置抽样时,样本均值的方差为总体方差的1/n

比较常见的分布主要有卡方分布,T分布,F分布.

6.估计

6.1 误差界限(Margin of error)

主要是抽样方法引起的误差.当由总体中随机地抽取样本时,哪个样本被抽到是随机的,由所抽到的样本得到的样本指标x与总体指标u之间偏差,称为实际抽样误差.

抽样误差是统计推断所固有的,虽然无法避免,但是可以运用数学公式计算,确定其具体的数量界限.


6.2 置信度(Confidence level)

我们有百分之多少确信总体中的值落在一个特定范围内;

一般情况下,取95%的置信度就可以;

6.3 置信区间(Confidence Interval)

相关文章

  • 统计机器学习基本概念

    -------- 李航《统计学习方法》 笔记 1. 统计学习三要素模型 策略 算法 1.1 模型 监督学习过程中,...

  • 统计学习-笔记1

    最近更新:2018-12-23 1.集中趋势2.变异性3.归一化4.正态分布5.抽样分布6.估计 对于这部分的内容...

  • 统计学习-笔记1

    最近更新:2018-12-23 1.集中趋势2.变异性3.归一化4.正态分布5.抽样分布6.估计 对于这部分的内容...

  • StatQuest

    课程资料视频 转自 【统计】听说你老板叫你学统计1️⃣? 讲解 转自 StatQuest视频教程学习笔记

  • 学习统计笔记

    抽样方法 1 简单随机抽样 要点:随机≠随意 它的抽样理念是从总体中选出抽样单位,从总体中抽取的每个可能样本均有同...

  • 统计学习方法笔记(第三章个人笔记)

    统计学习方法笔记(第三章个人笔记) 标签: 机器学习深度学习 K近邻算法 1. 描述:给定一个训练数据集,对新的输...

  • 学习笔记 |《统计思维》 笔记 | Day1

    读书笔记 READING NOTES 第一章 当我们在讨论统计学时,我们在谈些什么 学会洞察因果的三步: 1.理...

  • 2018-08-12

    统计学习方法笔记(一) 1.1实现统计学习方法的步骤 1.得到一个有限的训练数据集。 2.确定包含所有可能的模型的...

  • 统计学习方法

    1.统计学习笔记 久闻李航老师的这本统计学习方法的大名,苦于数学基础停留在本科期末考试70分的水平,战战兢兢,最近...

  • 周记1230-0105丨白班03

    本周记录Pendo统计汇总 A,本周工作情况总结: 1,出错2次 B,本周看的TED(学习笔记) 1,《如何成为一...

网友评论

    本文标题:统计学习-笔记1

    本文链接:https://www.haomeiwen.com/subject/lbfmlqtx.html