机器学习-线性回归模型

作者: aier_wiki | 来源:发表于2019-02-17 22:16 被阅读0次

2019-10-29
Task4模型调参
线性回归模型
Python机器学习基础教程学习笔记（5）——线性模型（回归）
对逻辑回归的看法
[回归] 线性回归 Linear Regression
机器学习实践系列1——线性回归
算法工程师知识树持续更新
3.1.1.1 线性模型
Python机器学习之线性模型

问题定义

给定数据集 $D=\{(\boldsymbol{x}_1, y_1),(\boldsymbol{x}_2, y_2),\cdots,(\boldsymbol{x}_m, y_m) \}$ ， $\boldsymbol{x}_i=(x_{i1};x_{i2};\cdots;x_{id})$ 是一个向量， $y_i\in\mathbb{R}$ 是一个标量。数据集中的每个数据对 $(\boldsymbol{x}_i, y_i)$ 可以看做空间中的一个点，那么线性回归问题就是试图学得一个超平面，使得数据集中的点尽量落在或者靠近这个超平面。 $f(\boldsymbol{x}_i) = \boldsymbol{wx}_i+b, \quad s.t. \quad f(\boldsymbol{x}_i)\simeq y_i$
衡量 $f(\boldsymbol{x}_i)$ 与 $y_i$ 之前的差别，可以采用均方误差这种性能度量。数据集D中的每个样本的误差为 $e_i=(f(\boldsymbol{x}_i) - y_i )^2$ ，均方误差就是所有样本的误差的加和平均，即 $E(f;D) = \frac{1}{m} \sum_{i=1}^m\limits(f(\boldsymbol{x}_i) - y_i )^2$

问题求解

在该问题中，我们要求解的变量是 $\boldsymbol{w}$ 和 $b$ ，使得 $\boldsymbol{w}$ 和 $b$ 取得最优值的时候，误差 $E(f;D)$ 取得最小值。即如下优化问题：
$\begin{aligned}(\boldsymbol{w}^*,b^*)=\mathop{\arg\min}_{(\boldsymbol{w},b)}\sum_{i=1}^m(f(x_i) - y_i)^2 \\ =\mathop{\arg\min}_{(\boldsymbol{w},b)}\sum_{i=1}^m(y_i - wx_i-b)^2 \end{aligned}$
求最大最小值的问题，可以对 $w$ 和 $b$ 求关于损失函数 $E$ 的偏导数，然后令导数为0，得到一组等式，联立求解方程即可。
$\begin{align} \frac{\partial E_{(w,b)}}{\partial w}&=2\biggl(w\sum_{i=1}^mx_i^2 - \sum_{i=1}^m(y_i-b)x_i\biggr)=0, \\ \frac{\partial E_{(w,b)}}{\partial w}&=2\biggl(mb - \sum_{i=1}^m(y_i - wx_i)\biggr)=0, \end{align}$

2019-10-29
Day2 简单线性回归模型机器学习入门--简单线性回归机器学习算法之线性回归算法导入库matplotlib 绘...
Task4模型调参
学习目标了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程内容介绍线性回归模型：线性回归对于特征的要...
线性回归模型
参考：1.使用Python进行线性回归2.python机器学习：多元线性回归3.线性回归概念线性回归模型是线性模...
Python机器学习基础教程学习笔记（5）——线性模型（回归）
Python机器学习基础教程学习笔记（5）——线性模型（回归） 1 线性回归处理wave数据集 1.1 wave数...
对逻辑回归的看法
在机器学习中，线性回归与逻辑回归的形式简单，却蕴含着一些重要思想;逻辑回归模型也是线性回归模型的非线性高级映射，具...
[回归] 线性回归 Linear Regression
线性回归是统计/机器学习中最基础的一个模型，在线性回归的基础上可以拓展出之后相当多的模型，例如逻辑回归。线性回归...
机器学习实践系列1——线性回归
摘要：本文结合实际案例，介绍机器学习的线性回归模型，包括一元线性回归和多元线性回归，以及模型的评估。案例展示用Py...
算法工程师知识树持续更新
机器学习算法监督学习分类模型LRSVM决策树NB回归模型线性回归最小二乘融合模型baggingRFboosti...
3.1.1.1 线性模型
线性模型 (Linear Model) : 原理《机器学习》周志华 3.1 线性回归最小均方误差(square...
Python机器学习之线性模型
一、线性模型基本概念线性模型不是指某一个模型，而是一类模型。在机器学习领域，常用的线性模型包括，线性回归、岭回...