随机事件及其发生的概率-贝叶斯公式

作者: 微斯人_吾谁与归 | 来源:发表于2019-04-27 21:26 被阅读91次

概率统计组队学习之随机事件与随机变量
概率基础
随机事件及其发生的概率-贝叶斯公式
2018-06-25
统计学基础：知识点
概率论与数理统计知识点小结
贝叶斯分类算法实例 --根据姓名推测男女
贝叶斯分类算法实例 --根据姓名推测男女
机器学习系列3:概率模型、朴素贝叶斯和sigmod函数推导
贝叶斯定理

参考教材
概率论与数理统计（陈希孺）
概率论与数理统计（茆诗松）
参考视频
中科大精品课程概率论与数理统计（廖柏其）

1.随机事件及其运算

1.1随机现象

随机现象：在一定条件下，并不是总出现相同结果的现象。如抛一枚硬币
随机试验：可以重复的随机现象。比如抛n次硬币。
基本结果W:随机现象的最简单的结果，它将是统计中抽样的基本单元，又称样本点。
样本空间：随机现象所有基本结果的全体。

1.2基本空间（样本空间）

随机现象的所有基本结果叫做这个随机现象的基本空间，又称样本空间。例如扔一枚骰子这一随机现象的样本空间是
$\Omega_{2}=\left\{\omega_{1}, \omega_{2}, \omega_{3}, \omega_{4}, \omega_{5}, \omega_{6}\right\}=\{1,2,3,4,5,6\}$
其中w1,w2....又称基本结果，又称样本点。样本空间可以是有限的，或者是无限的。也可以是离散的或者是连续的

1.3随机事件

随机现象的某些基本结果组成的集合称为随机事件，简称事件。如“扔一枚骰子，结果为偶数”是一个随机事件，踏实由样本点的集合{2,4,6}组成。
随机事件的几个特征
1. 任意一个事件A都是相应基本空间的一个子集。
2. 事件A发生当且仅当A中某一基本结果发生
3. 事件A可以用集合表示也可以用语言描述，但是要确保无歧义。

1.4必然事件与不可能事件

必然事件：一个随机现象的基本空间的最大子集（基本空间本身）称为必然事件。如扔一枚骰子，其结果不超过6。
不可能事件：一个随机现象的基本空间的最小子集（空集）称为不可能事件。如扔一枚骰子，其结果为7。

1.5事件间的关系

包含：同一试验中的两个事件A与B,若事件A中的基本结果必包含在B中，则称A被B包含，或是B包含A.

如扔一枚骰子，事件A为结果为4，事件B为结果为偶数。记为：
$A \subset B$
维恩图：

快照2.png

相等：同一试验中的两个事件A与B,若事件A中的基本结果与时间B的基本结果相同。如扔两枚骰子，结果记为（x,y），事件A为x+y为奇数，事件B为x,y奇偶性不同。
互不相容（互斥）：同一试验中的两个事件A与B,若事件A与事件B没有相同的基本结果。两个事件的互不相容可以多个事件的互不相容。

维恩图：

快照3.png

1.6事件的运算

对立事件

快照4.png

事件的并

快照5.png

事件的交

快照6.png

事件的差：A与B的差由在A中但是不在B中的基本结果组成。

快照8.png

事件的交于并的推广

快照9.png

2.事件的概率

2.1事件的概率

随机事件的发生具有偶然性的，但是随机事件发生的可能性还是有大小之别，如扔一枚硬币正面向上的可能与扔一枚骰子结果为6的可能性大小不相同。我们使用比率来衡量这种可能性。

概率的公理化定义：在随机现象中，用来表示任一随机事件A发生的可能性大小的实数（既比率）称为该事件的概率，记为P(A)，并规定：

非负性公理：对任意事件A,P(A)>=0
正则性公理：必然事件的概率为1
可加性公理：若A与B 是互不相容事件，则有

$P\left(A_{1} \cup A_{2}\right)=P\left(A_{1}\right)+P\left(A_{2}\right)$

除了概率的公理化定义，还曾经存在概率的古典定义、概率的统计定义、概率的主观定义等。

2.2排列与组合概要

乘法原理：如果某个事件需要K个步骤完成，第i个步骤有Mi个方法（0<i<=K）,那么完成这件事共有M1* M2...Mk个方法
加法原理：如果某个事件需要K类方法可以完成，第i个步骤有Mi个方法（0<i<=K）,那么完成这件事共有M1+M2+...+Mk个方法
排列：从n个不同的元素中任意选取r（r<=n）个元素排成一排，按乘法原理，此排列共有以下种情况。

$n \times(n-1) \times \cdots \times(n-r+1)$

若n=r则称为全排列

重复排列：从n个不同元素中每次取出一个，放回后再取下一个，如果连续取r次，所得的排列为重复排列，这种重复排列的个数是
$n^{r}$
且r不存在范围限制。
组合：从n个不同元素中任取r个组成一组（不考虑顺序）称为一个组合，按乘法原理，这种组合总数为

$\left( \begin{array}{l}{n} \\ {r}\end{array}\right)=\frac{P_{n}^{r}}{r !}=\frac{n(n-1) \cdots(n-r+1)}{r !}=\frac{n !}{r !(n-r) !}$

这个式子还是二项式展开式的系数，
$(a+b)^{n}=\sum_{r=0}^{n} \left( \begin{array}{l}{n} \\ {r}\end{array}\right) a^{r} b^{n-r}$
若令a=1,b=1,可以得到一个重要的组合公式：
$\left( \begin{array}{l}{n} \\ {0}\end{array}\right)+\left( \begin{array}{l}{n} \\ {1}\end{array}\right)+\dots+\left( \begin{array}{l}{n} \\ {n}\end{array}\right)=2^{n}$

重复组合：从n个不同元素每次抽取一个，放回然后再取下一个，如此连续取r次得到的组合成为重复组合。此种组合的总数为
$C_{n+r-1}^{r}$

2.3古典方法

基本思想：

样本空间有限
基本结果等可能
概率P(A)=K/N

2.4 频率方法

基本思想：

多次独立重复实验

2.5主观方法

基本思想：

个人经验等

3.概率的性质

$P(\overline{A})=1-P(A)$

$P(\phi)=1-P(\Omega)=0$

对于n各互不相容事件Ai有
$P\left(\bigcup_{i=1}^{n} A_{i}\right)=\sum_{i=1}^{n} P\left(A_{i}\right)$

若事件A包含事件B,则
$\begin{array}{l}{(1) P(A-B)=P(A)-P(B)} \\ {(2) P(A) \geqslant P(B)}\end{array}$

对任意事件A与B

$\begin{array}{l}{(1) P(A \cup B)=P(A)+P(B)-P(A B)} \\ {(2) P(A \cup B) \leqslant P(A)+P(B)}\end{array}$

对任意三个事件A、B、C有

$\begin{aligned}(1) P(A \cup B \cup C)=& P(A)+P(B)+P(C) \\ &-P(A B)-P(A C)-P(B C)+P(A B C) \\(2) P(A \cup B \cup C) \leqslant P(A)+P(B)+P(C) \end{aligned}$

4.独立性

4.1两个事件之间的独立性

对任意两个事件A与B,若P(AB)=P(A)P(B),则称A,B相互独立，否则称A与B不独立。
若事件A与事件B独立，则事件A与B的对立事件也独立

4.2多个事件的独立性

三个事件独立：首先事件两两独立，

$\begin{aligned} P(A B) &=P(A) P(B) \\ P(A C) &=P(A) P(C) \\ P(B C) &=P(B) P(C) \end{aligned}$

再加上：
$P(A B C)=P(A) P(B) P(C)$
则三个事件独立

多个事件独立：n个事件 A 1 ...An,假若对所有的1<=i<j<k<...<=n,以下等式均成立：

$\begin{array}{l}{P\left(A_{i} A_{j}\right)=P\left(A_{i}\right) P\left(A_{j}\right)} \\ {P\left(A_{i} A_{j} A_{k}\right)=P\left(A_{i}\right) P\left(A_{j}\right) P\left(A_{k}\right)} \\ {\vdots} \\ {P\left(A_{1} A_{2} \cdots A_{n}\right)=P\left(A_{1}\right) P\left(A_{2}\right) \cdots P\left(A_{n}\right)}\end{array}$

称这n个事件彼此独立

将相互独立的时间的任意部分换成对立事件，所得的所有事件之间依然彼此独立。

4.3试验的独立性

进行n次不同的试验，E1,E2...En，这n个试验之间的结果相互独立，则称试验相互独立。

若这n次试验相同，如扔n次同一枚硬币，则这n次试验叫做n重独立重复试验

4.4 n重贝努力试验

贝努力试验：只有两个可能的结果，可重复；
n重贝努力试验：由n次相同的、独立的贝努力试验组成的随机试验称为n重贝努力试验。例如重复扔五次硬币。

在n重贝努力试验中，成功的次数成为人们最关心的信息，记
$B_{n, k}=“n重贝努力中A出现K次”$
那么
$P \left(B_{n, k}\right)=\left( \begin{array}{l}{n} \\ {k}\end{array}\right) p^{k}(1-p)^{n-k}$
K可能的取值是0，1,2...n

5.条件概率

5.1条件概率

条件概率的定义：设A与B是基本空间中的两个事件，且P(B)>0,在事件B已发生的条件下P(A/B)定义为P(AB)/P(B),即
$P(A | B)=\frac{P(A B)}{P(B)}$

如何理解条件概率：举个例子，两家工厂同时生产同一种零件，作为试验随机抽取了25个零件作为样品，具体见一下二维表：事件A表示生产厂商为1，事件B表示有缺陷

	无缺陷	有缺陷
生产厂1	10	5
生产厂2	8	2

如何求当已知事件B发生的情况下，事件A再发生的概率是多少？

事件B发生的概率是7/25,事件B发生表示B的对立事件是不能能发生了，因此有十八种基本结果应该从基本空间中剔除，考虑剩余的7种基本结果，这意味着B的发生改变了基本空间，这时事件A发生占剩余基本空间的5/7.其实5种基本结果也是A,B同时发生的所有情况。可以得到
$P(A | B)=\frac{N(A B)}{N(B)}=\frac{N(A B) / N(\Omega)}{N(B) / N(\Omega)}=\frac{P(A B)}{P(B)}$

5.2条件概率的性质

条件概率满足的三条公理：

(1)非负性： ${P(A | B) \geqslant 0}$
(2)正则性： ${P(\Omega A_i| B)=1}$
(3)可加性： $加入事件A1与A2互不相容，且P(B)>0,则 P\left(A_{1} \cup A_{2} | B\right)=P\left(A_{1} | B\right)+P\left(A_{2} | B\right)$

乘法公式：对任意两个事件A与B,有
$P(A B)=P(A | B) P(B)=P(B | A) P(A)$

独立性定理：加入事件A与事件B独立，且P(B)>0,则

$P(A | B)=P(A)$

反之亦然。

一般乘法公式：对于任意三个事件A1,A2,A3有
$P\left(A_{1} A_{2} A_{3}\right)=P\left(A_{1}\right) P\left(A_{2} | A_{1}\right) P\left(A_{3} | A_{1} A_{2}\right)$

其中P(A1A2)>0

5.3全概率公式

设A与B是任意两个事件，假如0<P(B)<则

$P(A)=P(A | B) P(B)+P(A | \overline{B}) P(\overline{B})$

设B1,B2,B3...是基本空间的一个分割，则对任一事件A有
$P(A)=\sum_{i=1}^{n} P\left(A | B_{i}\right) P\left(B_{i}\right)$

5.4贝叶斯公式

从全概率公式可以推出一个著名的公式，贝叶斯公式：

贝叶斯公式：

设事件B1,B2,B3...Bn是基本空间的一个分割，且它们各自的概率P(B1),P(B2)...P(Bn)均是正，有设它们各自的概率是P(Bi).

A是基本空间的一个事件，P(A)>0,且在诸Bi给定的事件A的条件概率为P(A/B1),P(A/B2),P(A/B3)...P(A/Bn)可以的到在A给定条件下，事件Bk发生的条件概率是：
$P\left(B_{k} | A\right)=\frac{P\left(A | B_{k}\right) P\left(B_{k}\right)}{\sum_{i=1}^{n} P\left(A | B_{i}\right) P\left(B_{i}\right)}, \quad k=1,2, \cdots, n$

概率统计组队学习之随机事件与随机变量
摘要：随机事件、随机变量の学习笔记涉及概念：随机事件，概率，古典概型，条件概率，全概率公式，贝叶斯公式，随机变量，...
概率基础
写在前面随机事件与概率随机试验随机事件和样本空间概率的定义概率的三大性质条件概率全概率公式与贝叶斯公式全概率公式...
随机事件及其发生的概率-贝叶斯公式
参考教材概率论与数理统计（陈希孺）概率论与数理统计（茆诗松）参考视频中科大精品课程概率论与数理统计（廖柏其） ...
2018-06-25
客观概率不断的重复采样主观概率贝叶斯概率贝叶斯公式（重要）随机变量随机变量概率分布二项式的随机变量分布 ...
统计学基础：知识点
随机事件随机事件运算律古典概率几何概型条件概率贝叶斯公式独立事件伯努利试验概率累积函数离散型随机变量两点分布二项分...
概率论与数理统计知识点小结
随机事件全概率公式贝叶斯公式排列组合（只能刷题了）公式：重复组合，又放回的抽r次：随机变量分布及统计量...
贝叶斯分类算法实例 --根据姓名推测男女
一.从贝叶斯公式开始贝叶斯分类其实是利用用贝叶斯公式，算出每种情况下发生的概率，再取概率较大的一个分类作为结果。...
贝叶斯分类算法实例 --根据姓名推测男女
一.从贝叶斯公式开始贝叶斯分类其实是利用用贝叶斯公式，算出每种情况下发生的概率，再取概率较大的一个分类作为结果。...
机器学习系列3:概率模型、朴素贝叶斯和sigmod函数推导
一、贝叶斯公式推导 1.条件概率设是任意两个事件，已知发生的条件下，发生的条件概率为： 2.全概率公式设为有限...
贝叶斯定理
贝叶斯公式我们把P(A)称为"先验概率"，即在B事件发生之前，我们对A事件概率的一个判断。P(A|B)称为"后验...