Kernel Method

作者: BigPeter | 来源:发表于2018-12-13 13:27 被阅读0次

Kernel Method
Kernel Method
【Kernel Method】Kernel Method核方法介
【Kernel Method】Kernel Method核方法介
ruby require load include extend
核方法 Kernel method
KPCA
srand的作用
孤立核函数 (Isolation Kernel) 的聚类效果展示
支持向量机 `Support Vector Machines`

非线性分类

输入空间中有由 $x_1^2+x_2^2-1=0$ 分割的数据集，圆内为正例，圆外为负例，此时用超平面是无法正确分离数据集的。

定义映射 $\phi(x)=(x_1^2,x_2^2)$ ,在新空间中数据集可以用超平面 $x+y-1=0,x=x_1^2,y=x_2^2$ 分离。

核函数

设X是输入空间，H是特征空间。假设存在一个从X到H的映射 $\phi(x) ：X\rightarrow H$ ,使得对所有的 $x,z\in X$ ,函数 $K(x,z)$ 满足

$K(x,z)=\phi(x)\cdot \phi(z)$ ,

则称 $K(x,z)$ 为核函数， $\phi(x)$ 为映射函数。

$X \in R^2,H \in R^3,for \ x\in X, \phi(x)=(x_1^2,\sqrt 2 x_1x_2,x_2^2),则\\K(x,z)=\phi(x) \cdot \phi(z)=(x_1^2 z_1^2,2x_1z_1x_2z_2, x_2^2 z_2^2)=((x_1,x_2)\cdot (z_1,z_2))^2=(x\cdot z)^2$

核方法

核技方法（核技巧）的思路是只定义核函数 $K(x,z)$ ,而不显式地定义 $\phi(x)$ 。因为找到合适的 $\phi(x)$ 比较难，找到合适的 $\phi(x)$ 后，H空间通常是高维或者无穷维的，在H空间计算内积很不容易。使用核技巧可以直接在X空间使用核函数计算H空间的内积，避免这个问题。对于特定的问题，特征空间H和映射函数的 $\phi$ 的取法并不是唯一的，即使对于同一个特征空间，映射函数的取法也可能有很多种。

正定核

通常所说的核函数是正定核函数，即对给出的核函数 $K(x,z)$ ，一定存在映射 $\phi$ 满足 $k(x,z)=\phi(x)\cdot \phi(z)$ .

可以通过下面的充要条件来判断任意给出的函数是不是正定核函数：

正定核的充要条件：设 $K:X\times X\rightarrow R$ 是对称函数，则 $K(x,z)$ 是正定核的充要条件是对任意 $x_i\in X,i=1,2,\ldots,m$ , $K(x,z)$ 对应的Gram矩阵

$K=[K(x_i,x_j)]_{m\times m}$

是半正定矩阵。

Gram矩阵：n维欧式空间中的m个向量 $\alpha_1,\alpha_2,\ldots,\alpha_m$ 的内积所组成的矩阵

$\left[\begin{matrix} \alpha_1\cdot \alpha_1 & \alpha_1\cdot \alpha_2 & \cdots & \alpha_1\cdot \alpha_m \\ \alpha_2\cdot \alpha_1 & \alpha_2\cdot \alpha_2 & \cdots & \alpha_2\cdot \alpha_m \\ \vdots & \vdots & \ddots & \vdots \\ \alpha_m\cdot \alpha_1 & \alpha_m\cdot \alpha_2 & \cdots & \alpha_m\cdot \alpha_m \\\end{matrix}\right]$

称为m个向量的Gram矩阵。

半正定矩阵： $x^TAx\geq0$ 或特征值全为非负数

常用核函数

多项式核函数

$K(x,z)=(x\cdot z+1)^p$

高斯核函数

$K(x,z)=exp(\frac{||x-z||^2}{2\sigma^2})$

字符串核函数

【待】

Kernel Method
到底什么是kernel method？在一个空间内，线性不可分，然后通过一个函数，映射到高维空间（不一定非得是高维...
Kernel Method
非线性分类输入空间中有由分割的数据集，圆内为正例，圆外为负例，此时用超平面是无法正确分离数据集的。定义映射,在...
【Kernel Method】Kernel Method核方法介
引言核方法是20世纪90年代模式识别与机器学习领域兴起的一场技术性革命。其优势在于允许研究者在原始数据对应的高维...
【Kernel Method】Kernel Method核方法介
【Kernel Method】Kernel Method核方法介绍引言核方法是20世纪90年代模式识别与机器学...
ruby require load include extend
require load autoload require 1.kernel method，可以加载ruby文件，...
核方法 Kernel method
1.内积（点积）内积，又叫做点积，数量积或标量积。假设存在两个向量和，内积的计算方法为： 2.核方法 [1][#...
KPCA
KPCA的核心在于使用Kernel method，将原本非线性可分的点集变得线性可分。对于Kernel的理解，K...
srand的作用
api：http://ruby-doc.org/core-2.4.0/Kernel.html#method-i-s...
孤立核函数 (Isolation Kernel) 的聚类效果展示
Ye Zhu, Deakin University2021/10/1 当前有很多核方法（kernel method...
支持向量机 `Support Vector Machines`
作者@ weanl创建于 2018-12-13T14:20:00关键词: SVM kernel method预备知...

Kernel Method

非线性分类

核函数

核方法

正定核

常用核函数

相关文章

Kernel Method

Kernel Method

【Kernel Method】Kernel Method核方法介

【Kernel Method】Kernel Method核方法介

ruby require load include extend

核方法 Kernel method

KPCA

srand的作用

孤立核函数 (Isolation Kernel) 的聚类效果展示

支持向量机 `Support Vector Machines`

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读