线性回归问题

Background：回归问题中以影响房价的因素为例进行阐述。

1）Living areas对price的影响；

2）Living area和bedrooms对price的影响。

（在这里增加bedrooms因素的原因是多输入产生输出，体现了多特征性）

（此处应该有散点图的绘制，然而还没有找到完整数据和安装MATLAB，只好暂且省略。）

Some conception: 输入量x（在这里是living area、bedrooms）称为输入特征，输出y（在这里为price）为要预测的值，一组（x, y）称为training example, m个 training example为training set。另外还有一个假设的函数h。

Architecture：

The difference of regression and classification:

要预测的输出值是连续的值被称为回归问题；

要预测的输出值是离散的值被称为分类问题。

The following is main body

在线性回归问题中首先定义了一个预测函数h，解决线性回归问题也就是得到这个h(x),如下：

因此得到h(x)转化为如何求得θ的值的问题，再换个角度就是如何得到一个h(x)使预测的结果和真实的结果y很相近，于是有了衡量估计值的准确率这样一个损失函数的概念：

构造了损失函数这一式子，目的在于通过使损失函数的值达到最小这样一个逻辑来求θ。

本节中详细讲解了两种求解θ的方法，一种为梯度下降法，另一种为最小二乘法，下面依次讲解。

1. Gradient Descent

（不得不说手打公式太费事了也浪费时间，只好采用这种方式）

在这里说一下学习速度α：α越大，步子迈得越大，收敛速度太快，可能会错过最优值；反之，收敛速度太慢，模型训练速度会过慢。在后面很多ML、DL算法中α会作为一个重要的参数进行调节。

a. Batch gradient descent

缺点在于每次新加入数据时都要重新进行计算，减慢了计算速度。

b. Incremental gradient descent

速度会比较快，然而不会精确地收敛到全局最小值，向着全局最小值附近徘徊。

依次得到θ的值，最终写出h(x).

2. 最小二乘法

最小二乘法是采用矩阵求导的方式得到最优的h(x).

就这样求得了θ的值。

矩阵求导过程中用到的一些迹的性质（翻了半天线代书想仔细看看，然而没找到T_T）

线性回归问题的解决方法就先总结到这里。