美文网首页
1.1一元线性回归模型

1.1一元线性回归模型

作者: Yuanshuo | 来源:发表于2019-08-03 23:10 被阅读0次
The core values of Chinese socialism

模型与代价函数(Moudel and Cost Function)

模型

  • 符号


    符号表示
  • 监督学习算法工作方式
    • 将训练集喂给学习算法
    • 输出函数h(hypothesis)
    • 输入x => y
直观图

线性回归模型(Linear Regression):

h_{θ}(x) = θ_0 + θ_1 * x

数据集和函数的作用用来预测。

代价函数(Cost Function)

h_{θ}(x) = θ_0 + θ_1 * x
θ_{0}=1.5,θ_{1}=0h(x) = 1.5 + 0 * x,那么h函数看起来:

1.5+0x

如果θ_{0}=0,θ_{1}=0.5h(x) = 0 + 0.5 * x,那么假设看起来像:

0.5x

线性回归中,有一个训练集,如图,目的得出θ_0θ_1这两个参数的值,来让假设函数表示的直线尽量地与数据点很好的拟合。

image
在线性回归中要解决的是最小化问题,定义代价函数:

要做的就是关于、对函数求最小值,代价函数是解决回归问题最常用的手段。

代价函数 实例一

假设(Hypothesis):
h_{θ}(x) = θ_0 + θ_1 * x
参数(Parameters):
θ_0 { , } θ_1
代价函数(Cost Function):
J(θ_{0},θ_{1}) = \frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2}
目标(Goal):
\mathop{minimze}\limits_{θ_{0}θ_{1}} J(θ_{0},θ_{1})


简化的假设(Hypothesis):
h_{θ}(x) = θ_1 * x
简化的参数(Parameters):
θ_1
简化的代价函数(Cost Function):
J(θ_{1}) = \frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2}
简化的目标(Goal):
\mathop{minimze}\limits_{θ_{1}} J(θ_{1})


h_{θ}(x) 假设函数 J(θ_{1}) 代价函数

假设函数h_{θ}(x)对于一个固定的θ_1是一个关于x的函数。
代价函数J(θ_{1})是一个关于参数θ_1的函数,参数θ_1控制着h_{θ}(x)的斜率。
如上图,训练集(1,1)、(2,2)、(3,3),h_{θ}(x) = θ_1 * xθ_1= 1。
代价函数定义如下:
\begin{align*} J(θ_{1}) &= \frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2}\\ &= \frac{1}{2m} \sum_{i=1}^{m} (θ_1x^{(i)} - y^{(i)})^{2}\\ &= \frac{1}{2m} (0^2 + 0^2 + 0^2)\\ &= 0 \end{align*}
θ_1= 0.5

0.5x
这条直线的斜率0.5,计算。

如图:

以此类推


θ_{1}= 1时J(θ_{1})取最小值。

代价函数 实例二

假设(Hypothesis):
h_{θ}(x) = θ_0 + θ_1 * x
参数(Parameters):
θ_0 { , } θ_1
代价函数(Cost Function):
J(θ_{0},θ_{1}) = \frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2}
目标(Goal):
\mathop{minimze}\limits_{θ_{0}θ_{1}} J(θ_{0},θ_{1})
训练集数据:

训练集

假设θ_0= 50,θ_1= 0.06,将得到:

50+0.06x

两个变量θ_0 θ_1的代价函数图:

双变量代价函数图

相关文章

  • 1.1一元线性回归模型

    模型与代价函数(Moudel and Cost Function) 模型 符号符号表示 监督学习算法工作方式将训练...

  • sklearn学习1:常用线性模型

    1.1 常用线性模型 1.1.1 线性回归,LinearRegression 1.1.2 脊回归,Ridge Re...

  • 2020-08-19

    线性回归模型 一元线性回归模型 “一元”就是指单个特征。 通过预测房价的问题作为例子。 将训练集中的数据用图像的形...

  • 机器学习实践系列1——线性回归

    摘要:本文结合实际案例,介绍机器学习的线性回归模型,包括一元线性回归和多元线性回归,以及模型的评估。案例展示用Py...

  • 2020-05-15 第七章 线性回归模型

    线性回归模型 内容目录 [TOC] 01 一元线性回归模型的介绍与应用 相关分析 回归分析 1、两边变量之间存在明...

  • 机器学习

    1.线性回归 1.1一元线性回归 y=a+bx 1.2多元线性回归 y=a+b1x1+b2x2+...+bnxn ...

  • 「量学堂-6」多元线性回归(上)

    多元线性回归模型 多元性先回归相较于一元线性回归更为泛化,后者可以看做是前者的特例。对于多元线性模型,应变量Y与自...

  • 线性模型—— 一元线性回归算法推导

    目录 一、线性模型原理 二、线性回归与最小二乘法 三、一元线性回归公式推导 四、总结 线性模型原理:给定d个属性x...

  • 数学建模系列笔记2:回归和时间序列

    数学建模 @[toc] 3-1-1 一元线性回归 一般,假设 若 称为一元正态线性回归模型 回归分析要解决的主要问...

  • FFM算法

    1、FM 1.1 背景 1.1.1 线性模型 常见的线性模型,比如线性回归、逻辑回归等,它只考虑了每个特征对结果的...

网友评论

      本文标题:1.1一元线性回归模型

      本文链接:https://www.haomeiwen.com/subject/apwsdctx.html