美文网首页
CART决策树

CART决策树

作者: 点点渔火 | 来源:发表于2017-07-13 21:48 被阅读0次

分类与回归树(Classification and Regression Trees, CART)

不同于ID3, C4.5, CART本质是对特征空间进行二元划分(即CART生成的决策树是一棵二叉树, C4.5是多个分支), 并能够对标量属性(nominal attribute)与连续属性(continuous attribute)进行分裂。

标量属性分叉: = 和 !=

连续属性分叉:阈值ε取属性相邻值的平均值,找到Gini指数最大的ε值(Gini越大,说明这个临界点越有区分度)

Gini系数

流程:

  • 若满足停止分裂条件(样本个数小于预定阈值,或Gini指数小于预定阈值(样本基本属于同一类,或没有特征可供分裂),则停止分裂;
  • 否则,选择最小Gini指数进行分裂;
  • 递归执行1-2步骤,直至停止分裂。

剪枝:

CART剪枝与C4.5的剪枝策略相似,均以极小化整体损失函数实现。同理,定义决策树T的损失函数为:


屏幕快照 2017-07-13 21.48.35.png

参考: http://www.cnblogs.com/en-heng/p/5035945.html

相关文章

  • 随机森林和决策树(DecisionTree & RandomFo

    决策树 - 基于CART的决策树 CART分类回归树(classification and regression ...

  • 2019-04-26

    决策树 离散型数据ID3 连续型数据C4.5 分类与回归树算法(CART) CART算法就是将决策树中用于判断特征...

  • 数据分析03 - 决策树

    标签(空格分隔): 数据分析 CART 创建决策树做分类 分类树如下: CART 回归树做预测

  • 决策树

    决策树 决策树模型与学习 特征选择 决策树的生成 决策树的剪枝 CART 算法 决策树模型呈树形结构,在分类问题中...

  • 从cart决策树到XGBoost

    一. cart决策树简述 我们知道决策树算法有ID3、C4.5和cart三种,ID3和C4.5是基于信息增益和信息...

  • 第5章 决策树

    内容 一、决策树内容简介 二、决策树的模型与学习 三、特征选择 四、决策树生成 五、决策树剪枝 六、CART算法 ...

  • 统计学习方法5.6 - 7.2笔记

    5.6 决策树 -- CART算法 CART是二叉结构树。多叉可以转换成二叉,表示是和非 在CART算法中分类树是...

  • sklearn.tree.DecisionTreeClassif

    sklearn.tree.DecisionTreeClassifier()函数用于构建决策树,默认使用CART算法...

  • CART树

    CART(classification and regression tree)算法是分类回归树算法,它是决策树的...

  • 机器学习 - 决策树算法[二]

    1. CART决策树 分类与回归树(classification and regression tree, CAR...

网友评论

      本文标题:CART决策树

      本文链接:https://www.haomeiwen.com/subject/wcpghxtx.html