SVM

作者: 水之心 | 来源:发表于2018-08-22 22:58 被阅读0次

通俗易懂的支持向量机SVM
机器学习入门（十六）：SVM——线性 SVM，间隔由硬到软
第7章 SVM的三层理解
05 SVM - 支持向量机 - 概念、线性可分
机器学习技法笔记：02 Dual Support Vector
机器学习系列（三十二）——Support Vector Mach
svm支持向量机
Support Vector Machine
11 SVM - SMO - 序列最小优化算法
机器学习技法笔记：05 Kernel Logistic Regr

有 $\mathcal{X} = \{x_1,x_2,\cdots,x_m: x_i \in ℝ^n\}$ , $\mathcal{Y} = \{y_1,y_2,\cdots,y_m\}$ , 数据空间 $V = \mathcal{X \times Y}$ . 以下 $i \in \{1, 2, \cdots, m \}$ , 分离超平面为 $w^T x + b = 0$

SVM 的目的是最大化间隔 (margin), 对于线性可分的数据集, 模型假设为
$\begin{cases} \displaystyle\min_{w} & ||w||^2/2 \\ \operatorname{s.t.} & {y_i(w^T x_i+b)} \geq 1 \end{cases}$

考虑到存在线性不可分的数据集, 引入了变量 $\xi_i \geq 0$ , 且 $\frac{\xi_i}{||w||}$ 表示点 $x_i$ 到离它最近的边界的距离, 模型便改写为
$\begin{cases} \displaystyle{\min_{w,C}} & ||w||^2/2 + C \sum_i \xi_i \\ \operatorname{s.t.} & {y_i(w^T x_i + b)} \geq 1 - \xi_i \end{cases} ⇔ \displaystyle{\min_{w, C}} \; ||w||^2/2 + C \sum_i \max(0, 1 - y_i(w^T x_i + b))$

在学术上预测损失 $LL = \sum_i \max(0, 1 - y_i(w^T x_i + b))$ , 被称为 hinge loss, $f(x) = \max(x,0)$ 被称为线性整流函数 (ReLU).

下图, 红线代表 soft margin, 绿线代表 hard margin.

SVM

如图可知：随着参数 C 的增大，margin width (两条虚线间的距离) 会变小。

当 C 比较小时是 soft margin 模型，它更加注重的是靠近类别中心的数据点；
当 C 比较大时是hard margin 模型，它更加注重靠近分离超平面的 “异常点”。

通俗易懂的支持向量机SVM
SVM 的原理和目标几个基本概念线性可分SVM——线性 SVM——非线性 SVM1、线性可分SVM，表示可以用...
机器学习入门（十六）：SVM——线性 SVM，间隔由硬到软
从线性可分 SVM 到线性 SVM 从现实情况引出线性 SVM 线性可分 SVM，这种 SVM 学习的训练数据本身...
第7章 SVM的三层理解
内容一、了解SVM 二、深入SVM 三、证明SVM（暂时不懂） ########################...
05 SVM - 支持向量机 - 概念、线性可分
04 SVM - 感知器模型一、SVM概念支持向量机(Support Vector Machine, SVM)...
机器学习技法笔记：02 Dual Support Vector
Roadmap Motivation of Dual SVM Lagrange Dual SVM Solving ...
机器学习系列（三十二）——Support Vector Mach
本篇主要内容：SVM，Hard Margin SVM，Soft Margin SVM 什么是支撑向量机支撑向量机...
svm支持向量机
1.1 svm简介 A Support Vector Machine (SVM) is a discriminat...
Support Vector Machine
SVM学习笔记 1. The target of SVM is finding a hyper plane to ...
11 SVM - SMO - 序列最小优化算法
05 SVM - 支持向量机 - 概念、线性可分06 SVM - 线性可分模型算法和案例07 SVM - 软间隔模...
机器学习技法笔记：05 Kernel Logistic Regr
Roadmap Soft-Margin SVM as Regularized Model SVM versus L...