2020机器学习线性模型(8)

作者: zidea | 来源:发表于2020-01-27 18:28 被阅读0次

2020机器学习线性模型(8)
Task4模型调参
2019-10-29
Python机器学习之线性模型
2-线性模型
2020机器学习线性模型(3)
2020机器学习线性模型(1)
2020机器学习线性模型(F)
2020机器学习线性模型(5)
2020机器学习线性模型(2)

machine_learning.jpg

推导

我们先解决 $p(z|\theta)$ 问题
$p(z|\theta) = p(z|(\pi,q,p)) = \pi$
上面表示投掷 B 硬币的概率
$\begin{cases} p(z=1|\theta) = \pi \\ p(z=0|\theta) = 1 - \pi \end{cases}$

然后我们再解决 $p(y|z,\theta)$ 有了上面推导和边缘概率我们就很容将这个式进行展开
$p(y|z,\theta) = p(y|z=1,\theta) + p(y|z=0,\theta)$
那么如果已知 z=1 也就是投掷硬币 B 硬币投掷出正面概率 p 我们现在问题就是在已知 B 缩小问题范围，B 投掷出正面概率为 p ，根据伯努利分布就可以的下面式子，C 也是同样道理
$\begin{cases} p(y|z=1,\theta) = p^y(1-p)^{1-y}\\ p(y|z=0,\theta) = q^y(1-q)^{1-y} \end{cases}$

通过以上我们就可以得到
$p(y|\theta) = \pi p^y(1-p)^{1-y} + (1-\pi)q^y(1-q)^{1-y}$
现在我们就用所有参数 $\pi,p,q$ 将问题清楚表示出来。二项式分布在生活也是常见，很多选择都是二选一。

$Y = (y^{(1)},y^{(2)},\dots,y^{(N)})$

$p(Y|\theta) =$
$\begin{aligned} p(Y|\theta) = \prod_{i=1}^N p(y{(i)}|\theta)\\ = \pi p^{y^{(i)}}(1-p)^{1-y^{(i)}} + (1-\pi)q^{y^{(i)}}(1-q)^{1-y^{(i)}} \end{aligned}$

$p(Y|\theta) = \prod_{i=1}^N p(y^{(i)}|\theta)$
$p(Y|\theta) = \prod_{i=1}^N \pi p^{y^{(i)}}(1-p)^{1-y^{(i)}} + (1-\pi)q^{y^{(i)}}(1-q)^{1-y^{(i)}}$

$p(Y|\theta) = \sum_{i=1}^N \log p(y^{(i)}|\theta)$
现在问题就变成我们怎样计算 $p,q,\theta$ ，接下来介绍一种算法来计算，那么在开始介绍算法我们要知道现在模型是一个混合模型。

混合模型

假设我们有学生身高样本，但是我们知道女生和男生的身高正态分布式两个不同正态分布。那么我们样本 N 是由表示女生 N1 和表示男生 N2 两个部分数据组成，随机找到学生，他是男生概率假设为 $\pi$ 。假设 N1 服从 $N(\mu_1,\sigma_1)$ , N2 服从 $N(\mu_2,\sigma_2)$ 。
$p(x|\mu_1,\mu_2,\sigma_1,\sigma_2,\pi)$
这里 $\pi$ 表示 N1 的权重所以我们模型是两个模型混合按一定权重的组合。

$p(x|\mu_1,\mu_2,\sigma_1,\sigma_2,\pi) = \pi N(\mu_1,\sigma_1) + (1-\pi)N(\mu_2,\sigma_2)$

| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| H | T | H | H |T | T | H | H | T | T | H |
| B | C | B |B | C | C | B | C | B | C | B |

如果我们知道那一次是由 B 投掷出的结果，我们问题就迎刃而解了， $\pi = \frac{6}{11} \, p = \frac{5}{6} \, q = \frac{1}{5}$ 。那么现在就是知道我们难点就是弄清每一次是由哪个一个硬币投掷出来来到的这件事。
我们这里引入一个参数 $\mu$ 表示在 j 次是由 B 投掷出来的概率，假定我们已经知道 $\pi,p,q$ 这三个参数了，我们估计一下 $\mu$

$\mu_{i} = \frac{\pi p^{y^{(i)}}(1-p)^{1-y^{(i)}}}{\pi p^{y^{(i)}}(1-p)^{1-y^{(i)}} + (1-\pi)q^{y^{(i)}}(1-q)^{1-y^{(i)}}}$

这里有点绕，我希望大家能够理解，看的时候可能感觉已经明白，但是一旦自己列出上面式子，就会有点懵。在之前推导公式
$p(Y|\theta) = \pi p^{y^{(i)}}(1-p)^{1-y^{(i)}} + (1-\pi)q^{y^{(i)}}(1-q)^{1-y^{(i)}}$
$\begin{cases} p(z=1|\theta) = \pi p^{y^{(i)}}(1-p)^{1-y^{(i)}} \\ p(z=0|\theta) = (1-\pi)q^{y^{(i)}}(1-q)^{1-y^{(i)}} \end{cases}$
这是之前我们推导出来公式，有了这这些式子，我想不用解释大家也都明白了 $\mu_i$ 的来历了吧。可以先随机给出 $\pi,p,q$ 的值来计算 $\mu$ 的值然后在根据 $\mu$ 的值计算 $\pi,p,q$ 的值。

第一个我们先计算 $\pi$ ,我们知道 $\mu$ 代表每一次投掷出 B 概率，那么对 $\mu$ 求和取均值不就是 $\pi$ 的值吗。
$\pi = \sum_{j=1}^N \mu_j \frac{1}{N}$
第二我们来求 p 也就是 B 硬币投掷正面的概率，我们来看看怎么用 $\mu$ 来表示这个问题。
$p = \frac{\sum_{j=1}^{N} \mu_j y^{(j)}}{\sum_{j=1}^N \mu_{j}}$
首先我们计算出B 出现概率，然后我们在B出现时为真面的概率和，当 $y^{(j)}=1$ 时候为 $\mu_j$ 当 $y^{(j)}=0$ 这样就可以计算出 p 概率
最后计算 C 硬币投掷正面概率 q ，我们知道每一次是 B 概率为 $\mu_j$ 那么是 C 概率就是 $1 - \mu_j$
$q = \frac{\sum_{j=1}^N(1- \mu_j)y^{(j)}}{\sum_{j=1}^N(1- \mu_j)}$
最后希望大家关注我们微信公众号

wechat.jpeg