概率和熵的关系

作者: ENEC | 来源:发表于2019-12-20 22:48 被阅读0次

概率和熵的关系
机器学习之旅—决策树(2)
网络安全与保密基本概念考试复习
文本挖掘第二周
香农熵
Day 2080：学习
软考-信息补充
UD机器学习 - C5 深度学习
机器学习熵的整理
最大熵和概率分布

ABCD四个选项，不知道正确选项时的熵：

$\frac{1}{4} \log_2 \ 4 +\frac{1}{4} \log_2 \ 4+\frac{1}{4} \log_2 \ 4 +\frac{1}{4} \log_2 \ 4 = 2$

知道C有一半正确可能性时的熵：

$\frac{1}{6} \log_2 \ 6 +\frac{1}{6} \log_2 \ 6+\frac{1}{2} \log_2 \ 2 +\frac{1}{6} \log_2 \ 6 = 1.79$

获得额外信息导致单个事件的概率发生变化，最终表现为整体事件的熵（不确定性）降低

三门问题：三道门的其中一道里有大奖，你选了A门，然后主持人打开B门后发现是空的，要不要改选C门？

原系统的熵：

$\frac{1}{3} \log_2 3 +\frac{1}{3} \log_2 3+\frac{1}{3} \log_2 3=1.585$

主持人不知道B门后是空的：

$P(A|\bar {B} ) = \frac{1\times \frac{1}{3} }{1\times \frac{1}{3} +\frac{1}{2} \times \frac{2}{3}} =\frac{1}{2}$

$\frac{1}{2} \log_2 2 +\frac{1}{2} \log_2 2 =1$

主持人知道B门后是空的：

$P(A|\bar{B} ) = \frac{1\times \frac{1}{3} }{1\times \frac{1}{3} +1\times \frac{2}{3}} =\frac{1}{3}$

$\frac{1}{3}\log_2 3+\frac{2}{3}\log_2 1.5= 0.918$

（贝叶斯公式： $P(A|\bar{B} ) = \frac{P(B|\bar {A} )P(A) }{P(B|\bar{A} )P(A) +P(\bar{B}|\bar {A} )P(\bar{A} )}$ ）

主持人知道B门后是空的这个信息，导致了A、C门后有奖概率的变化，并降低了系统的熵

主持人不知道B门后是空的，相当于直接排除“B有”，信息量0.585（图1）

主持人知道B门后是空的，相当于在“A无”的基础上排除“B有”，信息量0.667（图2）

二者的区别在于，当主持人知道B门（或C门）后为空时，他就不可能打开一扇有东西的门，而在图1中，主持人打开的B门可能不是空的，所以在第二种情况中，系统为答题者提供了更多的信息

图1

图2

更具体来说，图1相当于答题者对系统说：帮我随便排除B、C中的一项，哪怕后面有东西我也认

而图2相当于答题者对系统说：帮我排除B、C中为空的一项

显然图2的信息量更大

概率和熵的关系
ABCD四个选项，不知道正确选项时的熵：知道C有一半正确可能性时的熵：获得额外信息导致单个事件的概率发生变化，...
机器学习之旅—决策树(2)
信息熵公式的推导学过概率后,如果两个事件 x 和 y 是独立，这个应该不难理解首先我们已经知道了信息熵和概率关系...
网络安全与保密基本概念考试复习
熵香农利用概率分布的结论给出“熵”的定义，确定发生的事件和确定不发生的事件，熵都是0,只有当发生和不发生的概率相...
文本挖掘第二周
文本挖掘第二弹本周目标正式上车一组合关系发现和熵（单词关联挖掘） 1.1熵函数一个词相随出现的概率定义：...
香农熵
香农熵，又称信息熵，熵，可以用来代表某数据集合的不一致性。熵的值越高，则代表数据集的不一致性越高。熵与概率的关系...
Day 2080：学习
#统计学习最大熵模型：由最大熵原理推导而得最大熵原理是概率模型学习的一个准则，它认为所有可能的概率模型中，熵最...
软考-信息补充
香农信息公式： 1、单调性。概率越大，信息熵越小，概率越小，信息熵越大 2、非负性。信息熵大于0 3、可加性。几个...
UD机器学习 - C5 深度学习
1 神经网络 sigmod函数和softmax函数最大似然概率和交叉熵和多类别交叉熵Logistic回归和梯度下降...
机器学习熵的整理
1.近似熵：近似熵能够衡量时间序列中产生新模式的概率大小，产生新模式的概率越大，序列就越复杂。由于近似熵的计...
最大熵和概率分布
概率论我们需要描述一组数据时候，本质上需要描述每一个点。但是如果我们可以用分布去表示这些数据，就只需要均值或者方...

概率和熵的关系

相关文章

概率和熵的关系

机器学习之旅—决策树(2)

网络安全与保密基本概念考试复习

文本挖掘第二周

香农熵

Day 2080：学习

软考-信息补充

UD机器学习 - C5 深度学习

机器学习熵的整理

最大熵和概率分布

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读