图解机器学习读书笔记-CH2:学习模型

作者: 婉妃 | 来源:发表于2018-08-22 17:11 被阅读101次

图解机器学习读书笔记-CH2:学习模型
入门
00-Scikit-learn学习笔记系列文章
【好书推荐】机器学习书单
nlp入门笔记——Task3 基于机器学习的文本分类
《图解机器学习》PDF高清完整版-免费下载
不败给名词! 了解特征工程
Spark机器学习笔记
2019-02-17
1.gitchat训练营-入门机器学习

常见机器学习模型总结

1. 线性模型

一维输入+基函数形式:

$f_\theta(x) = \sum_{j=1}^b\theta_j\phi_j(x) = \theta^T\phi(x)$
$\phi_j(x)$ 非线性时, $f_\theta(x)$ 可以表示复杂模型

基函数:
(1) 多项式
$\phi(x) = (1, x, x^2, ..., x^{b-1})^T$

(2)三角多项式
$\phi(x) = (1, sinx, cosx, sin2x, cos2x, ..., sinmx, cosmx)^T$

多维输入形式:

$f_\theta(\vec x) = \sum_{j=1}^b\theta_j\phi_j(\vec x) = \theta^T\phi(\vec x)$

$\phi_j(x)$ 是基函数向量 $\phi(x) = (\phi_1(x), ..., \phi_b(x))^T)$ 的第j个因子, $\theta_j$ 是参数向量 $\theta=(\theta_1,...,\theta_b)^T$ 的第j个因子.

基函数:
(1) 乘法模型
$f_\theta(\vec x) = \sum_{j_1=1}^{b'} \cdots \sum_{j_d=1}^{b'} \theta_{j_1,...,j_d} \phi_{j_1}{(x^{(1)}}) \cdots \phi_{j_d}(x^{(d)})$
模型表现力丰富, 其中, b'代表各维参数个数, 参数总和 $(b′)^d$ , 易导致维数灾难.
(2) 加法模型
$θ(x)=\sum_{k=1}^d\sum_{j=1}^{b'}\theta_{k,j}\phi_j(x^{(k)})$
参数总和 $b'd$ , 复杂度小, 表现力差

2. 核模型

线性模型基函数和训练样本无关,核模型的基函数会使用输入样本.

核模型是二元核函数 $K(\cdot,\cdot)$ , 以 $K(\vec x, x_j)_{j=1}^n$ 的方式线性结合:

$f_\theta(x) = \sum_{j=1}^n\theta_jK(x,x_j)$

高斯核:
$K(x,c) = exp(-\frac{\|x-c\|^2}{2h^2})$
, 其中 $\|\cdot\|$ 表示 $L2$ 范数 $\|x\|=\sqrt{x^Tx}$ , h和c是高斯函数带宽和均值

高斯核函数图:

image.png

一维高斯核

image.png

如图, 只在各个样本 $\{x_i\}_{i=1}^n$ 附近近似, 减轻了维数灾难

参数个数不依赖输入变量维数d, 只由样本数n决定

样本数n很大时, 将样本 $\{x_i\}_{i=1}^n$ 的子集 $\{c_j\}_{j=1}^b$ 作为核均值计算, 抑制了计算负荷:
$f_\theta(x)=\sum_{j=1}^b\theta_jK(x,c_j)$

核模型是参数向量 $\vec \theta=(\theta_1,\cdots,\theta_n)^T$ 的线性形式, 因此也是基于参数的线性模式的特例.

基于参数的线性模型称为参数模型, 核模型称为非参数模型

核映射: 核模型易扩展,当输入样本不是向量时(字符串,决策树, 图表等),通过构造两个样本x和x'的和核函数 $K(x,x')$ 来建模.

3. 层级模型

非线性模型: 和参数相关的不是线性的模型均称为非线性模型
非线性模型中的层级模型:
$f_\theta(x) = \sum_{j=1}^b\alpha_j\phi(x;\beta_j)$
上式中, $\phi(x;\beta_j)$ 是包含参数向量 $\vec \beta$ 的基函数, $\vec \alpha$ 是参数向量
层级模型是基于参数向量 $\vec \theta = (\vec \alpha^T, \beta_1^T, \cdots, \beta_b^T)^T$ 的非线性形式

S型基函数:
$\phi(x;\beta) = \frac{1}{1+exp(- x^T \omega-\gamma)}, \beta = (\omega^T, \gamma)^T$

S型基函数

高斯基函数:
$\phi(x;\beta) = exp(-\frac{\|x-c\|^2}{2h^2}), \beta = (c^T, h)^T$

高斯基函数

使用S型核函数的层级模型称为人工神经网络
上式中的高斯函数和核模型中的高斯核相同,但是带宽和均值非固定
层级模型会对耦合系数 $\{\alpha_j\}_{j=1}^b$ ,带宽和均值都进行学习, 因此层级模型比核函数更灵活.
人工神经网络学习过程艰难: 参数 $\theta$ 和函数 $f_\theta$ 不是一一对应的
常采用贝叶斯方法学习人工神经网络

图解机器学习读书笔记-CH2:学习模型
1. 线性模型一维输入+基函数形式: 非线性时, 可以表示复杂模型基函数:(1) 多项式 (2)三角多项式多...
入门
了解机器学习标签需要通过机器学习模型判断出的结果特征机器学习模型进行判断的条件（可以是很多的变量）模型机器学...
00-Scikit-learn学习笔记系列文章
机器学习读书笔记撰写机器学习读书笔记，总结自己系统学习sklearn的经验，将整个学习过程写成读书笔记的形式分享...
【好书推荐】机器学习书单
今天推荐的图书专注机器学习主题，一共7本，都是经过实践检验的好书——《机器学习》《图解机器学习》《机器学习实战》《...
nlp入门笔记——Task3 基于机器学习的文本分类
学习目标 TF-IDF的原理和使用使用sklearn的机器学习模型完成文本分类机器学习模型机器学习通过历史数...
《图解机器学习》PDF高清完整版-免费下载
《图解机器学习》PDF高清完整版-免费下载《图解机器学习》PDF高清完整版-免费下载下载地址：网盘下载备用地...
不败给名词! 了解特征工程
机器学习基本概念:人工智能 > 机器学习 > 深度学习机器学习:机器学习是从数据中自动分析获得规律(模型), 并...
Spark机器学习笔记
Spark机器学习笔记机器学习机器学习是数据通过算法构建出模型并对模型进行评估，评估的性能如果达到要求就拿这个...
2019-02-17
机器学习系列机器学习100天机器学习第1天：数据预处理机器学习第2天：简单线性回归模型机器学习第3天：多元...
1.gitchat训练营-入门机器学习
1.1.简要概述机器学习有三个要素：数据、模型、算法，其中模型是机器学习的核心。一般机器学习分为有监督学习和无监...

图解机器学习读书笔记-CH2:学习模型

1. 线性模型

一维输入+基函数形式:

多维输入形式:

2. 核模型

3. 层级模型

相关文章

图解机器学习读书笔记-CH2:学习模型

入门

00-Scikit-learn学习笔记系列文章

【好书推荐】机器学习书单

nlp入门笔记——Task3 基于机器学习的文本分类

《图解机器学习》PDF高清完整版-免费下载

不败给名词! 了解特征工程

Spark机器学习笔记

2019-02-17

1.gitchat训练营-入门机器学习

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

智能计算