概述

XGBoost是GBDT算法的变种，有监督集成学习算法 是一种伸缩性强，便捷的并行构建模型的Gradient Boosting算法

注意:并行构建模型，不是说XGBoost构建下一轮基模型不依赖上一步的结果，而是指生成每个基模型的决策树时，能够进行并行运算，即加速了单个模型的运算。

面试 A:为什么说XGBoost是一个并行结构？
Q:XGBoost模型本身还是串行的，该模型还是基于梯度提升的理念进行模型构建的，只是在构建的时候进行并行操作，提升运行速度

相关文献

XGBoost官网：http://xgboost.readthedocs.io；
XGBoost Github源码位置：https://github.com/dmlc/xgboost；
XGBoost支持开发语言：Python、R、Java、Scala、C++

安装 (Anaconda安装方式 Mac环境)

查看环境列表 conda env list

DEA68B9A-3DD9-4429-ADC8-CE049DDA0E8D.png

进入环境 source activate mlenvment
安装 conda install -c anaconda py-xgboost

使用 import xgboost as xgb
回顾 CART(分类回归树) 和 GBDT

23910C97-46E0-4F7B-A267-CCEB45EB5ABE.png

XGBoost模型-目标函数:
Boosting模型多少会存在一些过拟合问题，由于有过拟合的存在，对最后的预测结果始终存在一些错误，即使调参也调不好，所以在建立模型的时候加入惩罚项。
Obj(θ)是我们在第n+1轮构建的目标函数，在原有误差 L(θ) 基础上，增加一个惩罚项Ω(θ)，模型的构建初步思路,具体惩罚项加的是什么？待续........

image.png