信息熵、信息增益和基尼指数

作者: Andrew_jidw | 来源:发表于2020-03-18 10:45 被阅读0次

简书书写数学公式
信息熵与基尼指数的关系
信息熵、信息增益和基尼指数
2 决策树理论细节
决策树算法梳理
决策树算法梳理
机器学习信仰之决策树
决策树常见划分原则信息熵、条件熵、信息增益、信息增益比、基尼指数
信息、信息熵、条件熵、互信息，信息增益、信息增益比、基尼系数、相
熵之道

信息熵（information entropy）是度量样本集合纯度最常用的一种指标。假定当前样本集合 $D$ 中第 $k$ 类样本所占的比例为 $p_{k}(k=1,2,...,n)$ ，则 $D$ 的信息熵定义为

$Ent(D)=-\sum\nolimits_{p_{k}}^n p_{k}\log_2 p_{k}$

$Ent(D)$ 的值越小，则 $D$ 的纯度越高。

信息增益（information gain）：假设离散属性a有V个可能取值，若使用a对样本集D进行划分，则会产生V个分支结点，其中第v个分支结点包含D中所有在属性a上取值为 $a_{v}$ 的样本，记为 $D^v$ 。可以计算出属性a对样本集D进行划分所获得的信息增益：

$Gain(D,a)=Ent(D)-\sum_{v=1}^V \frac{|D^v|}{|D|}Ent(D^v)$

基尼指数Gini(D)表示集合D的不确定性。值越大样本集合的不确定性也越大。

源自：

周志华《机器学习》

李航《统计学习方法》中基尼系数的定义

简书书写数学公式
决策树熵：条件熵：信息增益：信息增益比: CHAT算法基尼系数：基尼指数Gini(D)表示集合D的不确定...
信息熵与基尼指数的关系
序熵的概念中有信息熵、信息增益、信息增益比、基尼指数，这些统统作为决策树分裂的依据，其中，我们需要知道信息熵与基...
信息熵、信息增益和基尼指数
信息熵（information entropy）是度量样本集合纯度最常用的一种指标。假定当前样本集合中第类样本所占...
2 决策树理论细节
1 信息熵 1.1 条件熵 1.2 信息增益 1.3 信息增益率和基尼系数 2 决策树 3 决策树的评价、剪枝和过...
决策树算法梳理
决策树算法梳理 1. 信息论基础（熵联合熵条件熵信息增益基尼不纯度） 1.1 熵（entropy）...
决策树算法梳理
信息论基础（熵联合熵条件熵信息增益基尼不纯度）信息熵：信息熵是度量样本集合纯度常用的一种指标。在信息论中...
机器学习信仰之决策树
###熵、信息增益、信息增益比、基尼系数 ####熵 --- 度量随机变量的不确定性（纯度）定义：假设随机变量X...
决策树常见划分原则信息熵、条件熵、信息增益、信息增益比、基尼指数
信息熵信息熵就是度量信息的不确定度，例如现在总共10份数据，其中5份正5份负，那么正负的概率就是0.5 根据这个...
信息、信息熵、条件熵、互信息，信息增益、信息增益比、基尼系数、相
信息根绝香农的信息是用来消除随机不确定性的东西，在机器学习中，假设其输出为Y，对于一个分类yi，我们知道他的占比...
熵之道
熵的定义如下：互信息 = H(D) - H(D|A) 信息增益 = 经验熵 - 经验条件熵；互信息和信息增益理...

网友评论

本文标题：信息熵、信息增益和基尼指数

本文链接：https://www.haomeiwen.com/subject/vyxqyhtx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

信息熵、信息增益和基尼指数

相关文章

简书书写数学公式

信息熵与基尼指数的关系