哲哲的ML笔记（五：多变量线性回归）

作者: 沿哲 | 来源:发表于2020-08-31 15:15 被阅读0次

哲哲的ML笔记（五：多变量线性回归）
哲哲的ML笔记（十三：多类别分类）
哲哲的ML笔记（二：模型）
哲哲的ML笔记（四：矩阵）
哲哲的ML笔记（十二：逻辑回归中的代价函数）
[线性回归] 多特征线性回归
哲哲的ML笔记（三：梯度下降）
哲哲的ML笔记（七：学习率）
哲哲的ML笔记（九：正规方程）
哲哲的ML笔记（十八：反向传播）

回顾

之前讨论的实际问题：根据尺寸预测房价。很明显，该问题只有一个单一变量，而且预测之前就很容易看到这是一个线性关系
但是，当我们有很多变量：如尺寸、卧室数量、层数……不仅特征会变多，而且预测函数原来的 $h_{\theta}=\theta_0+\theta_1x$ 也不再适用

房价预测的多变量

多变量的表示

先注明一些Notations：

变量	含义
$n$	特征数量
$x^{i}$	第i个样本的所有特征
$x_{j}^{i}$	第i个样本的第j个特征

这仍然是线性问题，此时预测函数应为下式
$h_{\theta}(x)=\theta_0+\theta_1x_1+\theta_2x_2+…\theta_nx_n$

还可以表示成：
$h_\theta(x)=\theta^Tx$

$x=\begin{bmatrix} x_0 \\ x_1\\…\\x_n \ \end{bmatrix} \in R^{n+1} \quad$
$\theta=\begin{bmatrix} \theta_0 \\ \theta_1\\…\\\theta_n \ \end{bmatrix} \in R^{n+1} \quad$
注： $h_{\theta}(x)$ 中的 $x$ 代表某一个样本，对应Notations中的 $x^{i}$ ； $\theta_0+\theta_1x_1+\theta_2x_2+…\theta_nx_n$ 中的各 $x$ 代表这个样本中的特征

多变量线性回归

经过上述讨论，问题如下

变量	表达
$Hypothesis$	$h_\theta(x)=\theta^Tx$
$Parameter$	$\theta_0, \theta_1, …, \theta_n$
$Cost Function$	$J(\theta)=\dfrac{1}{2m}\sum\limits_{i=1}^{m}(h_\theta( x^i)-y^i)^2$

根据梯度下降的知识，我们知道了要不断重复
$\theta_j=\theta_j-\alpha\frac{\partial}{\partial \theta_j} J(\theta)[同时更新j=0,1,2^n]$
在只有一个变量的问题中，将 $\theta$ 的更新式子写开是如下的形式，对于多个变量也类似， $\theta_0$ 的表达式都是一样的

哲哲的ML笔记（五：多变量线性回归）
回顾之前讨论的实际问题：根据尺寸预测房价。很明显，该问题只有一个单一变量，而且预测之前就很容易看到这是一个线性关...
哲哲的ML笔记（十三：多类别分类）
如何使用逻辑回归 (logistic regression)来解决多类别分类问题，通过一个叫做"一对多" (one...
哲哲的ML笔记（二：模型）
1. 参数设定：训练实例数：输入变量/特征：预测的目标变量：一个训练样本：第 i 个训练样本：hypothesi...
哲哲的ML笔记（四：矩阵）
此处简略了很多内容，实际课程中讲得很细、很基础矩阵乘法性质 1.不满足交换律：满足结合律：转置、逆没有逆矩...
哲哲的ML笔记（十二：逻辑回归中的代价函数）
代价函数要定义用来拟合参数的优化目标或者叫代价函数对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。...
[线性回归] 多特征线性回归
1 多特征线性回归有多个变量的线性回归也叫做多变量线形回归(multivariate linear regres...
哲哲的ML笔记（三：梯度下降）
1. 前提回顾已知：代价函数，希望找到对应的参数使得最小思路：令从任意值开始（一般设置为=0）；每次微小改变直到...
哲哲的ML笔记（七：学习率）
代价函数-迭代次数梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和...
哲哲的ML笔记（九：正规方程）
到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法是更好的解决方案正规方程是通过求解 ...
哲哲的ML笔记（十八：反向传播）
正向传播在之前介绍的通过神经网络预测结果，我们使用的其实是一种正向传播方法，从第一层开始正向一层一层进行计算，直...