[机器学习必知必会]损失函数与风险函数

作者: TOMOCAT | 来源:发表于2020-02-29 19:58 被阅读0次

[机器学习必知必会]损失函数与风险函数
经验风险、期望风险、结构风险
损失函数
人工智能之数学(三) ------ 凸优化
统计学习方法第一章笔记
机器学习常见问题
Carson带你学Java：关于String类的必知必会
损失函数、代价函数、目标函数
机器学习-损失函数
机器学习学习笔记（五）线性回归法

引言

我们需要一定的准则来评估不同机器学习模型的优劣，这就引申出损失函数和风险函数。

损失函数：评估模型单次预测的好坏
风险函数：度量平均意义下模型的好坏

损失函数的定义

监督学习是在假设空间 $F$ 中选取模型 $f$ 作为决策函数，对于给定的输入 $X$ ，由 $f(X)$ 给出相应的输出 $Y$ ，用损失函数来衡量预测值 $f(X)$ 和真实值 $Y$ 之间的差距，它是一个非负实值函数，记作 $L(Y,f(X))$ 。

常用的损失函数

1. 0-1损失函数

$L(Y,f(x))= \begin{cases} 1, Y!=f(x) \\ 0, Y = f(x) \end{cases}$

2. 平方损失函数

$L(Y,f(X))=(Y-f(X))^2$

3. 绝对损失函数

$L(Y,P(Y|X))=|Y-f(X)|$

4. 对数似然损失函数

$L(Y,P(Y|X))=-logP(Y|X)$

风险函数

当损失函数越小时意味着模型拟合效果越好，损失函数的期望是：

$R_{exp}(f)=E_p[L(Y,f(x))]=\int_{x\times y}L(y,f(x))P(x,y)dxdy$
这是理论上模型 $f(X)$ 关于联合分布 $P(X,Y)$ 的平均意义下的损失，称为风险函数（或者期望损失）。

1.风险函数与监督学习的关系

监督学习的目的就是选择令期望风险最小化的模型，但是由于联合分布 $P(X,Y)$ 未知，风险函数的值并不能直接计算，所以监督学习就称为一个病态问题ill-formed problem。

2.经验风险损失

由于风险函数并不能直接计算，我们转而求模型 $f(X)$ 在训练数据集上的平均损失作为经验风险损失，记作 $R_{emp}$ 。

$R_{emp}(f)=\frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i))$

$R_{exp}(f)$ 是模型 $f(x)$ 关于联合分布的期望损失， $R_{emp}(f)$ 是模型 $f(x)$ 在训练集上的平均损失。根据大数定律，当样本容量 $N$ 趋于无穷是，这两个损失基本相等。但是现实中训练样本数量往往有限，从而用经验风险估计期望风险往往并不理想，需要对经验风险进行一定的矫正，这就涉及到监督学习的两个基本策略：经验风险最小化和结构风险最小化。

3.经验风险最小化

经验风险最小化策略认为，经验风险最小的模型就是最优的模型，即：

$\min_{f\in F} \frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i))$
当样本容量足够大时，经验风险最小化能保证具有较好的学习效果，在现实中也被广泛采用。例如极大似然估计就是经验风险最小化的一个例子（在模型是条件概率分布，损失函数是对数损失函数时等价）。

4.结构风险最小化

当样本容量较小时，经验风险最小化的准则会导致过拟合问题的出现，结构风险最小化等价于正则化（也叫做罚项）。定义如下：

$R_{srm}=\frac{1}{N}L(y_i,f(x_i))+\lambda J(f)$
其中 $J(f)$ 为模型的复杂度，是定义在假设空间 $F$ 上的泛函。其中 $\lambda\geq0$ 是系数，用于权衡经验风险和模型复杂度对模型优劣的影响。

结构风险较小的模型往往对训练数据以及未知的测试数据都有较好的预测。例如贝叶斯估计中的最大后验概率估计就是结构风险最小化的例子（在模型是条件概率分布，损失函数是对数损失概率且模型复杂度由模型的先验概率表示时等价）。

结论

监督学习的问题可以转化为经验风险或者结构风险函数的最优化问题，这时候经验或者结构风险函数就是最优化的目标函数。

Reference

[1] 统计学习方法

[机器学习必知必会]损失函数与风险函数
引言我们需要一定的准则来评估不同机器学习模型的优劣，这就引申出损失函数和风险函数。损失函数：评估模型单次预测的...
经验风险、期望风险、结构风险
序本次记录内容包括机器学习中的三种类型的风险函数风险函数与损失函数的关系统计学习模型旨在假设空间中寻找最佳的...
损失函数
聊聊机器学习中的损失函数机器学习中的损失函数平方损失（线性回归）对数损失（交叉熵损失 softmax, lo...
人工智能之数学(三) ------ 凸优化
一.机器学习中的优化问题损失函数 : 模型与实际数据匹配程度越好,损失函数就越小,如果相差较大,损失函数也会相对...
统计学习方法第一章笔记
1.3 统计学习三要素 1.3.2 策略损失函数和风险函数。损失函数度量模型一次预测的好坏，风险函数度量平...
机器学习常见问题
1.损失函数机器学习中损失函数：线性回归使用的就是最小平方和损失函数、Logistic回归使用的交叉熵损失函数....
Carson带你学Java：关于String类的必知必会
概述关于String类的必知必会主要包括： String的常用函数 equals()与==的区别 String、...
损失函数、代价函数、目标函数
Q：机器学习中的损失函数、代价函数、目标函数有什么联系和区别？ A：在监督学习中，损失函数用来评估模型的预测值和真...
机器学习-损失函数
0，综述损失函数用于评价模型好坏。一个统计学习方法基本上由三个部分组成：模型+策略+算法1，模型，，即输入样本特...
机器学习学习笔记（五）线性回归法
一.简单线性回归通过分析问题，确定文体的损失函数或者效用函数；通过最优化损失函数或者效用函数，获得机器学习的模...