逻辑回归目标函数凹凸性的证明

作者: 0_oHuanyu | 来源:发表于2020-03-25 19:13 被阅读0次

逻辑回归目标函数凹凸性的证明
机器学习随笔
逻辑回归(上)
基于逻辑回归的分类预测
KNN算法的算法思想
逻辑回归的目标函数（Python）
逻辑回归
TORCH02-03:Torch的损失函数与逻辑回归实现
ml-简化的成本函数和梯度下降
ml-代价函数

1 背景介绍

逻辑回归可以说是非常经典的一个模型了，其简单易用和鲁棒性得到了广大玩家的认可，甚至机器学习界流传几句话叫：“不知道数据怎么样就先上个lr试试效果”，“好的数据用lr也比坏的数据用神经网络要强”，其重要性可见一斑。

逻辑回归模型的物理含义是基于信息熵的，概率计算公式可以通过最大熵模型推导得出，而目标函数是通过极大似然估计得到的。这些基础知识本篇不再介绍，以后有时间再写推导过程。
本篇的重点是，如何证明目标函数是凸函数？因为只有证明目标函数是凸函数才能用梯度下降法进行求解，并且保证得出全局最优解。

2 证明过程

试着证明逻辑回归函数是凸函数。假设一个函数是凸函数，我们则可以得出局部最优解即为全局最优解，所以假设我们通过随机梯度下降法等手段找到最优解时我们就可以确认这个解就是全局最优解。证明凸函数的方法有很多种，在这里我们介绍一种方法，就是基于二次求导大于等于0。比如给定一个函数 $f(x)=x^2-3x+3$ ，做两次求导之后即可以得出 $f''(x)=2 > 0$ ，所以这个函数就是凸函数。类似的，这种理论也应用于多元变量中的函数上。在多元函数上，只要证明二阶导数是posititive semidefinite即可以。问题（c）的结果是一个矩阵。为了证明这个矩阵（假设为H)为Positive Semidefinite，需要证明对于任意一个非零向量 $v\in \mathcal{R}$ , 需要得出 $v^{T}Hv >=0$
记X为以 $x_{i,j}$ 为元素的矩阵，记H为以 $h(1-h)$ 为对角元素的对角矩阵，那么hessian矩阵可以写成 $X^t·H ·X$

$\left[ \begin{matrix} x_{1,1} &x_{1,2} &\cdots &x_{1,n} \\ x_{2,1} & x_{2,2} &\cdots & x_{2,n} \\ \vdots &\vdots &\ddots &\vdots \\x_{n,1} &x_{n,2} &\cdots &x_{n,n} \end{matrix} \right] · \left[ \begin{matrix} h(x_1)(1−h(x_1) &0 &\cdots &0 \\ 0 &h(x_2)(1−h(x_2) &\cdots &0 \\ \vdots &\vdots &\ddots &\vdots \\ 0&0&0& h(x_n)(1−h(x_n)\end{matrix} \right] · \left[ \begin{matrix} x_{1,1} &x_{1,2} &\cdots &x_{1,n} \\ x_{2,1} & x_{2,2} &\cdots & x_{2,n} \\ \vdots &\vdots &\ddots &\vdots \\x_{n,1} &x_{n,2} &\cdots &x_{n,n}\end{matrix} \right]$

根据sigmoid函数的性质，可知0<h(x_1)<1，那么很明显可以看到，H对角线上的每个元素都是大于0的

如何证明这是一个半正定矩阵？直接套定义:

$v^T ·hession ·v$

$= v^T ·X^T ·H·X ·v$

vX相乘，得到一个向量，将这个向量记为p，里面的元素大概是 $[p_1,p_2,p_3....p_n]$ 那么上式可以转化为

$= p^T ·H·p$ 拆开，就得到

$p_1^2 h(x_1)(1- h(x_1))+p_2^2 h(x_2)(1- h(x_2))+.....+p_n^2 h(x_n)(1- h(x_n))$

每一项都是大于等于0的，所以结果大于等于0，也就是 $v^T ·hession ·v \geq 0$ ，所以目标函数的二阶导数所对应的hessian矩阵半正定，所以目标函数是凸函数

逻辑回归目标函数凹凸性的证明
1 背景介绍逻辑回归可以说是非常经典的一个模型了，其简单易用和鲁棒性得到了广大玩家的认可，甚至机器学习界流传几句...
机器学习随笔
逻辑回归- 逻辑回归的重要性二项逻辑回归概率和odds的定义概率odds伯努利分布sigmoid 函数及特性- 似...
逻辑回归(上)
逻辑回归- 逻辑回归的重要性二项逻辑回归概率和odds的定义概率odds伯努利分布sigmoid 函数及特性- 似...
基于逻辑回归的分类预测
基于逻辑回归的分类预测学习目标了解逻辑回归的理论掌握逻辑回归的sklearn函数调用并将运用到鸢尾花数据集预测 ...
KNN算法的算法思想
之前讲解的线性回归和逻辑回归的原理中，不免会引入大量的数学推导和证明过程，从预测函数的建立，到损失函数的偏导数求解...
逻辑回归的目标函数（Python）
前面两篇文章求出了函数和逻辑回归是线性回归，那模型还需要求出目标函数的参数，才可以供以后使用。也就是说，我们如何求...
逻辑回归
逻辑回归的损失函数如何得来的呢？两图搞懂逻辑回归的损失函数来源。
TORCH02-03:Torch的损失函数与逻辑回归实现
本主题主要梳理损失函数，并同时使用损失函数实现逻辑回归。本主题内容结构： 1. 逻辑回归模型； 2. 逻辑回归...
ml-简化的成本函数和梯度下降
目标：更简化的方法得到代价函数运用梯度下降法拟合出逻辑回归的参数。化简合并之后：明确目标：代价函数为：求出参...
ml-代价函数
目标：拟合逻辑回归模型的参数通过定义用来拟合参数的优化目标，即：代价函数但是将代入得到的代价函数是一个非凸函数(...