美文网首页生信小白成长记dibo
基于StatQuest系列学统计(一)

基于StatQuest系列学统计(一)

作者: 琪音 | 来源:发表于2019-07-05 19:36 被阅读22次

视频来自 youtube 的 StatQuest with Josh Starmer,我翻了翻小破站,看看我发现了什么:基础篇...

因为去年技能树有做过一期学习statquest的活动,所以有一些大佬的笔记可以参考,比如详细视频翻译思维导图等等,除了看视频外,我对于有些实在不理解的概念还翻阅了《白话统计》等等,视频看下就能明白的就不赘述了,开坑啦...

直方图

我们在记录一些数据的时候,可以用图形可以直观看到分布,比如直方图。

直方图.png 直方图特点.png

当然,除了直方图,还有饼图、柱状图、箱线图、散点图、密度图等等。


饼图和柱形图.png 箱线图.png

正态分布(Normal Distribution)

正态分布.png 正态-平均值+标准差.png

t分布

不是一个分布,而是一簇分布,随着自由度的变化而变化,自由度越小,t分布与正态分布偏离越大;当自由度很大(约30以上)的时候,t分布接近正态分布。

中心极限定理(Central Limit Theorem)

敲黑板!!补充理解

置信区间.png

指给定一个任意分布的总体,每次从总体中随机抽样n个抽样,一共抽取m次,然后把这m组抽样分布求出平均值,这些平均值的分布接近正态分布

  • 总体的本身分布不要求正态分布
  • 样本每组要足够大(一般认为每组大于等于30)

以抛掷骰子为例,随机生成10000次结果,结果的数字在1到6之间,计算这6个数字的频数,基本趋于平均。再从这10000次结果中,任取1000组,每组50例,再计算这1000组数的平均数分布,呈正态分布。

import numpy as np
import pandas as pd
from matplotlib import pyplot as plt

np.random.seed(1)
a = np.random.randint(1,7,10000) # 以投掷骰子结果
print(type(a))
# 建立一个数字对象 ndarray, 用于存放同类型元素的多维数组
print(np.mean(a),np.std(a))
## 3.5252 1.7113050458641206

data = pd.value_counts(a)
bins=range(1,7)
plt.bar(bins,data)
plt.title("histogram")
plt.show()
分布.png 中心极限定理.png
# 抽样 1000组每组50个
means = []
for n in range(1,1000):
    sample = np.random.choice(a,50)
    means.append(np.mean(sample))

print(np.mean(means),np.std(means))
## 3.526706706706707 0.24534967195126153
plt.hist(means)
plt.show()

如何展示你的数据

标准差和标准误

形象生动的例子

平均值 mean µ

\mu=\frac {\sum x_i}{n}

标准差

样本离散程度的一个度量,用来描述数据的波动性。σ

\sigma=\sqrt{\frac{\sum_{i=1}^{n} (x_i -\mu)^2}{N}}

按照中心极限定理,将正态分布记为 N(\mu, \sigma)

标准差.png 标准误.png
标准误

衡量对应样本统计量抽样误差大小的尺度。

标准误越小,表明样本统计量与总体参数的值越接近,样本对总体越有代表性,用于统计推断。

SE=\frac{\sigma}{\sqrt{n}} (n为样本例数)

自由度(Degree of Freedom,df)

总体分母是n,样本分母就是n-1,n为例数,公式证明这样得到的才是无偏估计。

标准化、中心化

标准化就是计算Z值:Z=\frac{x-\mu}{\sigma}

Z值反映了某个值 x 偏离均数 \mu 的标准差倍数,按照正态分布的规律,一旦标准化就成了以0为均数,1为标准差的标准正态分布

中心化就是Z值的分子部分,x=0 就是 x=均值,使数值有意义。

总体参数(population parameter)

之前的那篇量包子的文章里,要研究的对象,食堂这段时间做出过的所有包子为总体,测量一小部分为样本,通过样本来对总体的统计特征做判断的方法为假设检验(参数的无偏估计)。

零假设 H_0 、备择假设 H_1

P-value

a p-value is the probability that random chance generated the data, or something else that is equal or rarer。

生成某数据的随机机率,或者是和这个机率相等或更小的值。

  • 随机产生这个事件的概率
  • 产生和该事件相同概率的其他事件
  • 产生比该事件的概率更小的事件

概念理解


与样本有关的指标称为统计量,与总体有关的指标称为参数,根据样本信息来估计总体信息,只能获得样本数据,来估计总体参数,这就是参数估计

样本估计 —> 总体参数

  • 点估计

    计算样本均数、方差等,作为总体均数、方差等的估计值。

    • 最小二乘估计 (Least Square Estimation)

      主要用于线性回归的参数估计,求一个使得实际值与模型估计值之差达到最小的值作为参数估计值

    • 最大似然估计 (Maximum Likelihood Estimation)

      将带估计的参数看作确定的量,只是值未知,将使得产生训练样本的概率最大的参数值作为参数的最佳估计

    • 贝叶斯估计

      将带估计的参数看作符合某种先验概率分布的随机变量,通过观察样本,将先验概率密度通过贝叶斯规则转化为后验概率密度

  • 区间估计

    用一个区间来估计参数值。

    Bootstrap 自举法

    从给定训练集中有放回的均匀抽样,也就是说,每当选中一个样本,它等可能地被再次选中并被再次添加到训练集中。从初始样本重复随机替换抽样,生成一个或一系列待检验统计量的经验分布。 无需假设一个特定的理论分布,便可生成统计量的置信区间,并能检验统计假设。

    • 95%置信区间

      参数估计值 \pm 1.96 x 标准误

      95%置信区间.png

我的基础比较薄弱,做不到很快更新,缓缓再来,有同行的小伙伴嘛?

更多学习资源:
生信技能树公益视频合辑
生信技能树简书账号
生信工程师入门最佳指南
生信技能树全球公益巡讲
招学徒
...
你的宣传能让数以万计的初学者找到他们的家,技能树平台一定不会辜负每一个热爱学习和分享的同道中人 😎

相关文章

  • 基于StatQuest系列学统计(一)

    视频来自 youtube 的 StatQuest with Josh Starmer,我翻了翻小破站,看看我发现...

  • 2020-01-15 随机森林-原理及如何用R绘图

    参考学习资料:菜鸟团生信专题 StatQuest生物统计学专题 - 决策树(1) StatQuest生物统计学专题...

  • RNA sequencing ten years

    statQuest统计学课程笔记RNA-seq10年回顾,汉语翻译statQuest统计学课程大纲重点是RNA s...

  • StatQuest

    课程资料视频 转自 【统计】听说你老板叫你学统计1️⃣? 讲解 转自 StatQuest视频教程学习笔记

  • 推荐系统系列之总结

    一、前言 在推出《推荐系统系列之初识》、《推荐系统系列之基于人口统计学的推荐》、《推荐系统之基于物品内容的推荐》、...

  • R语言相关性分析

    花花写于2020-04-06,TCGA和R包都学完了,开始学些统计学知识。收集了一些资料,statquest在B站...

  • StatQuest学习笔记13——LDA

    前言——主要内容 这篇笔记是StatQuest系列视频教程的第38小节,在此备注一下,在StatQuest系列视频...

  • 推荐系统系列之基于物品内容的推荐

    承接前两篇《推荐系统系列之初识》及《推荐系统系列之基于人口统计学的推荐》 一、基本思想 基于物品内容的推荐算法仅利...

  • 推荐机制

    基于用户统计学的推荐 基于用户统计学的推荐机制(Demographic-based Recommendation)...

  • 深入理解各种推荐机制原理

    一、基于人口统计学的推荐 基于人口统计学的推荐机制(Demographic-based Recommendat...

网友评论

    本文标题:基于StatQuest系列学统计(一)

    本文链接:https://www.haomeiwen.com/subject/yzxyhctx.html