XGBoost二阶泰勒展开公式推导

作者: 9933fdf22087 | 来源:发表于2019-05-06 14:50 被阅读0次

XGBoost二阶泰勒展开公式推导
微积分基础
xgboost学习笔记 + GBDT
11 集成学习 - XGBoost案例 - 波士顿房价进行预测
梯度下降法与牛顿法
Jensen不等式
xgboost为什么要用泰勒展开
xgboost公式推导
09 集成学习 - XGBoost公式推导
运动学模型模型线性化-离散化

目标函数： $\mathrm{obj}=\sum_{i=1}^{n} l\left(y_{i}, \hat{y}_{i}^{(t)}\right)+\sum_{i=1}^{t} \Omega\left(f_{i}\right)$
其中 $y_i$ 是真实值， $\hat{y}_{i}^{(t)}$ 是总t棵树的预测值， $l$ 是loss function， $\Omega$ 是正则项，防止过拟合。 $f$ 是一棵CART树， $f_{t}\left(x_{i}\right)$ 是输入数据 $x_i$ 后第t棵树的输出值。
$\hat{y}_{i}^{(t)}$ 与 $f_{t}\left(x_{i}\right)$ 的关系为： $\hat{y}_{i}^{(t)}=\sum_{k=1}^{t} f_{k}\left(x_{i}\right)=\hat{y}_{i}^{(t-1)}+f_{t}\left(x_{i}\right)$
因此，目标函数即可转为： $\begin{aligned} \mathrm{obj}^{(t)} &=\sum_{i=1}^{n} l\left(y_{i}, \hat{y}_{i}^{(t)}\right)+\sum_{i=1}^{t} \Omega\left(f_{i}\right) \\ &=\sum_{i=1}^{n} l\left(y_{i}, \hat{y}_{i}^{(t-1)}+f_{t}\left(x_{i}\right)\right)+\Omega\left(f_{t}\right)+\text {constant } \end{aligned}$

泰勒展开公式： $f(x+\Delta x) \simeq f(x)+f^{\prime}(x) \Delta x+\frac{1}{2} f^{\prime \prime}(x) \Delta x^{2}$
将损失函数泰勒展开至二阶： $\mathrm{obj}^{(t)}=\sum_{i=1}^{n}\left[l\left(y_{i}, \hat{y}_{i}^{(t-1)}\right)+g_{i} f_{t}\left(x_{i}\right)+\frac{1}{2} h_{i} f_{t}^{2}\left(x_{i}\right)\right]+\Omega\left(f_{t}\right)+constant$
其中 $g_{i}=\partial_{\hat{y}^{(t-1)}} l\left(y_{i}, \hat{y}^{(t-1)}\right)$ ， $h_{i}=\partial_{\hat{y}^{(t-1)}}^{2} l\left(y_{i}, \hat{y}^{(t-1)}\right)$ 分别表示对 $\hat{y}_{i}^{(t-1)}$ 求一次与二次偏导。
与泰勒展开式对应来看，其中x为 $\hat{y}_{i}^{(t-1)}$ ， $\Delta x$ 为 $f_{t}\left(x_{i}\right)$

XGBoost二阶泰勒展开公式推导
目标函数：其中是真实值，是总t棵树的预测值，是loss function，是正则项，防止过拟合。是一棵CART树，...
微积分基础
写在前面知识点函数导数微积分偏导数凸函数定义凸函数的性质泰勒展开式泰勒公式的应用泰勒公式的推导总结...
xgboost学习笔记 + GBDT
从泰勒公式说起泰勒公式损失函数存在二阶导数的时候，可以提供参数下降的方向梯度下降法的泰勒展开理解.png 为什么...
11 集成学习 - XGBoost案例 - 波士顿房价进行预测
08 集成学习 - XGBoost概述09 集成学习 - XGBoost公式推导10 集成学习 - XGBoost...
梯度下降法与牛顿法
梯度下降和牛顿法的推导均与泰勒公式有关，所以先介绍泰勒展开公式：基本形式：上面这个迭代形式将应用到下面的梯度下降...
Jensen不等式
（hessan矩阵是根据泰勒公式推导）
xgboost为什么要用泰勒展开
xgboost使用了一阶和二阶偏导, 二阶导数有利于梯度下降的更快更准. 使用泰勒展开取得函数做自变量的二阶导数形...
xgboost公式推导
xgboost公式推导基本构成 boosted tree作为有监督学习算法有几个重要部分：模型、参数、目标函数、...
09 集成学习 - XGBoost公式推导
08 集成学习 - XGBoost概述根据上面的知识对XGBoost公式推导回顾: 第t次迭代后，模型的预测值...
运动学模型模型线性化-离散化
泰勒展开公式高阶偏导数