线性回归算法

作者: shadowflow | 来源:发表于2019-01-26 14:57 被阅读0次

机器学习算法总结
机器学习系列（十一）——线性回归Linear Regressio
线性回归
回归算法学习
2019-10-29
通俗地说逻辑回归【Logistic regression】算法（
通俗得说线性回归算法（二）线性回归实战
吴恩达机器学习（第一周）
常见回归算法
python机器学习从入门到精通（第2天）

$h_\theta(x) = θ₀ + θ₁x₁ + θ₂x₂$ （θ₀ 是偏置项）
整合：
$h_\theta(x)=\sum_{i=0}^Nθ_ix_i=θ^TX$
注：( $x_0=1$ ）

1 误差

1.1 真实值与预测值之间肯定要存在差异的（用 $\epsilon$ 来表示该误差)

(0) 对于每个样本： $y^{(i)}=\theta^T x^{(i)} + \epsilon^{(i)}$

误差 $\epsilon^{(i)}$ 是独立并且具有相同的分布，并且服从均值为0方差为 $\theta^2$ 的高斯分布

独立：张三和李四一起来贷款，他俩没关系

同分布：他俩都是来的我们假定的这家银行

高斯分布：银行可能会多给，也可能会少给，但是绝大多数情况下这个浮动不会太大，极小情况下浮动比较大，符合正常情况。

2 似然函数

(1)高斯分布： $f(x)=\frac{1} {\sqrt[]2\pi\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2})$
(2)由于误差服从u=0， $\sigma^2$ 的高斯分布： $p(\epsilon^{(i)})=\frac{1} {\sqrt[]2\pi\sigma}exp(-\frac{(\epsilon(i)^2)}{2\sigma^2})$
(3)将(0)带入(2)求解： $p(y^{(i)}|x^{(i)};\theta)=\frac{1} {\sqrt[]2\pi\sigma}exp(-\frac{(y^{(i)}-\theta^T x^{(i)})^2}{2\sigma^2})$
似然函数： $L(\theta)=\prod_{i=1}^mp(y^{(i)}|x^{(i)};\theta)=\prod_{i=1}^m\frac{1} {\sqrt[]2\pi\sigma}exp(-\frac{(y^{(i)}-\theta^T x^{(i)})^2}{2\sigma^2})$
对数似然： $logL(\theta)=log\prod_{i=1}^m\frac{1} {\sqrt[]2\pi\sigma}exp(-\frac{(y^{(i)}-\theta^T x^{(i)})^2}{2\sigma^2})$
似然函数越大越好

3 目标函数

$J(\theta)=\frac{1} {2}\sum_{i=1}^m(y^{(i)}-\theta^Tx^{(i)})^2$ 　　　(越小越好）
$J(\theta)=\frac{1} {2}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$

4 求偏导

$\nabla_\theta J(\theta)=X^TX\theta-X^Ty$
偏导等于0： $\theta=(X^TX)^{-1}X^Ty$

5 评估方法

最常用的评估项 $R^2:1-\frac{ \sum_ {i=1}^m(\hat{y}_i-y_i)^2}{\sum_{i=1}^m(y_i-\bar{y})^2}$
注: $R^2$ 取值越接近于1我们认为模型拟合的越好

6 梯度下降

引入：当我们得到了一个目标函数后，如何进行求解？（并不一定可直接求解，线性回归是个特例而已）
常规套路:机器学习的套路就是我交给机器一堆数据，然后告诉它什么样的学习方式是对的（目标函数），然后它朝着这个方向去做
如何优化：一口吃不成个胖子，我们要静悄悄的一步步的完成迭代（每次优化一点）
目标函数： $J(\theta)=\frac{1} {2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$

机器学习算法总结
回归算法线性回归算法：支持向量机&向前逐步回归&惩罚线性回归（岭回归/套索回归/ElasticNet/最小角度...
机器学习系列（十一）——线性回归Linear Regressio
线性回归算法和knn算法不同，线性回归算法主要用于解决回归问题，它同样思想简单，实现容易，而且是许多强大的非线性...
线性回归
线性回归是机器学习算法的入门，通过该算法，管中窥豹，研究该算法的精髓之处。线性回归线性回归的损失函数为最小二乘...
回归算法学习
回归算法是机器学习中的经典算法之一，本文是对学习线性回归和逻辑回归算法进行的总结，线性回归与逻辑回归算法解决的分别...
2019-10-29
Day2 简单线性回归模型机器学习入门--简单线性回归机器学习算法之线性回归算法导入库matplotlib 绘...
通俗地说逻辑回归【Logistic regression】算法（
在说逻辑回归前，还是得提一提他的兄弟，线性回归。在某些地方，逻辑回归算法和线性回归算法是类似的。但它和线性回归最大...
通俗得说线性回归算法（二）线性回归实战
前情提要：通俗得说线性回归算法（一）线性回归初步介绍一.sklearn线性回归详解 1.1 线性回归参数介绍完...
吴恩达机器学习（第一周）
1.单变量线性回归(Linear Regression with One Variable) 1.1线性回归算法 ...
常见回归算法
sklearn作为机器学习中一个强大的算法包，内置了许多经典的回归算法。线性回归线性回归拟合一个带系数的线性模...
python机器学习从入门到精通（第2天）
线性回归线性回归的基本假设了解一个算法，必须得了解算法的适用条件。在用线性回归之前，我们必须得知道在什么条件下...

线性回归算法