线性模型——多元线性回归算法推导

作者: 易码当先 | 来源:发表于2019-12-18 11:43 被阅读0次

线性模型——多元线性回归算法推导
[FM]从线性回归到FM模型
第四回多元线性回归
04 多元线性回归
Linear Regression
线性回归模型
多元线性回归推导 — Multi-Variable Linear
「量学堂-6」多元线性回归（上）
从回归到临床模型（一）
多元线性回归(multiple regression model

一、多元线性回归推导

二、总结

多元线性回归推导

整体思路：

推导流程

步骤：

1、将w和b组合成 $\bar{w }$ :

向量相乘

将b转化为向量相乘

向量转换

向量减法结合标量转置，进一步变形

最终结果

凸集定义：设集合 $D \in R^n$ ，如果对任意的 $x,y \in D$ 与任意的 $a \in [0,1]$ ，有 $ax+(1-a)y\in D$ ，则称集合为凸集。

凸集的几何意义：若两个点属于此集合，则两点连线之间的任意一点均属于此集合。

梯度（多元实质函数的一阶导数）：设n元函数 $f(x)$ 对自变量 $x=(x_{1},x_{2},...,x_{n} )^T$ 的各分量 $x_{i}$ 的偏导数都存在，则称函数 $f(x)$ 在 $x$ 处一阶可导。并称向量为函数 $f(x)$ 在 $x$ 处的一阶导数或梯度，记为 $\forall f(x)$ 列向量。

分量偏导数

梯度

Hessian(海塞)矩阵：设n元函数 $f(x)$ 对自变量 $x=(x_{1},x_{2},...,x_{n} )^T$ 的各分量 $x_{i}$ 的二阶偏导数都存在，则称 $f(x)$ 在 $x$ 处二阶可导，并称矩阵为 $f(x)$ 在 $x$ 处的二阶导数或Hessian矩阵，记为 $\forall ^2f(x)$ ，若 $f(x)$ 对 $x$ 各变元的所有二阶偏导数都连续，则此时 $\forall ^2f(x)$ 为对称矩阵。

二阶偏导数

Hessian（海塞）矩阵

2、证明损失函数 $E_{\bar{w } }$ 是关于 $\bar{w }$ 的凸函数：

一阶偏导数

二阶偏导数（Hessian矩阵）

多元实值函数凹凸性判定定理：设 $D\subset R^n$ 是非空开凸集， $f:D\subset R^n ->R$ ，且 $f(x)$ 在 $D$ 上二阶连续可微，如果 $f(x)$ 的Hessian矩阵 $\forall ^2f(x)$ 在 $D$ 上是正定的，则 $f(x)$ 是 $D$ 上的严格凸函数。

其中： $f:D\subset R^n ->R$ ，表示函数 $f$ 的输入是个n维度向量，输出为实数R，也就是说 $f$ 是n元的实值函数。