机器学习 线性回归

1、学会从数据反推公式，综合利用训练数据，拟合线性回归函数。

2、我们常常认为的线性回归函数：y=ax+b，这即是我们常认为的线性回归函数，即模型函数。

机器学习 线性回归

3、但其实这也是一个思维的限制，线性回归可以有多个独立的自变量，此时其函数形式则为：

机器学习 线性回归

4、注意一点：特征是一维的，线性模型在二维空间构成一条直线；特征是二维的，线性模型在三维空间中构成一个平面；若特征是三维的，则最终模型在四维空间中构成一个体，以此类推。

机器学习 线性回归

5、用线性回归模型如何拟合图中非线性关系？

机器学习 线性回归 机器学习 线性回归

此时，即实现了拟合了二阶多项式，若：

机器学习 线性回归

我们可在二维空间去训练该线性目标函数。

依次，即可将线性回归模型运用到三维，四维……

6、以上，我们得到了线性回归的常用函数：y=a+bx。其目标函数即为：

机器学习 线性回归

7、梯度下降法求解目标函数过程为：从任意点开始，在该点对目标函数求导，沿着导数方向（梯度）“走”（下降）一个给定步长，如此循环迭代，直至“走”到导数为0的位置，则达到极小值。

8、梯度下降法求解目标函数常用参数：斜率、导数、偏微分。

9、斜率：表示变化大小；导数表现的是函数 f(x) 在 x 轴上某一点沿着 x 轴正方向的变化率/变化趋势，导数大于0，增大趋势，小于0，减小趋势；偏导数：二元及以上函数某一点在某一维度或变量上的变化趋势，变化率。

10、偏导数或导数——变化率。

      偏微分或微分——变化。

11、可以说：（偏）微分——沿着（偏）导数的方向，产生了一个无穷小的增量。

12、梯度下降算法：函数一个个点，沿导数方向，向前走一步！

13、据此可得：

某个变量的值——> 代入目标函数偏微分函数——> 导数值

14、常用的求导规则：

机器学习 线性回归

15、线性回归模型目标函数求解过程：

step1:

机器学习 线性回归

step2:任意给定ab初值

机器学习 线性回归

step3:梯度下降法求解（伪代码）

机器学习 线性回归

step4:当下降的高度小于某个指定的阈值（近似收敛至最优结果），则停止下降。

机器学习 线性回归

16、简单线性回归模型的扩展：

y=a+bx ==> f(x)=a+bx

x可以是一维的x，也可以是多维的（x1，x2，x3，…xn），其函数模型为：

机器学习 线性回归

对应的，可得到目标函数：

机器学习 线性回归

常用h(x)表示目标函数：

机器学习 线性回归

应用梯度下降法求解：

机器学习 线性回归

theta_j转化：

机器学习 线性回归

即为线性回归目标函数通用梯度求解过程伪代码。