支持向量回归（Support Vector Regression，SVR）
是一种有“宽容度”的回归模型，
即 它在线性函数两侧制造了一个“间隔带”，对于所有落入到间隔带内的样本，都不计算损失；只有间隔带之外的，才计入损失函数
模型函数为：y = wx + b
目标为：最小化间隔带的宽度与总损失
SVR 希望所有的样本点都落在“隔离带”里面
引入了两个松弛变量
我们最终要求的是 w 和 b，
也用对偶方法进行求解，分为以下几步：
1. 首先它是符合强对偶的三个条件的，
2. 然后求出它的拉格朗日函数
3. 再求下确界函数，方法是对W和b，还有两个松弛变量求偏导，令其等于零，得到的关系式代入拉格朗日函数，然后得到了只有两个参数 alpha alpha* 的对偶问题，并将极大值问题转化为极小值问题。这一步同时得到了 w 的表达式
4. 接着用 SMO算法的 KKT 条件，将两个参数的对偶问题转换为一个参数 lambda 的对偶问题
5. 由 KKT 条件得出，落在隔离带边缘超平面上的样本，是 SVR 的支持向量，于是由支持向量得到 b 的表达式
6. 至此 w 和 b 表达式都得到了，进而得到了 SVR 的模型函数
网友评论