[线性回归] 梯度下降和正规方程法

作者: JaiUnChat | 来源:发表于2017-01-01 14:30 被阅读261次

Machine_learning(持续补充......)
2019-04-13
[线性回归] 梯度下降和正规方程法
2018-12-07正规方程
线性回归、岭回归
多元线性回归
哲哲的ML笔记（九：正规方程）
机器学习笔记E2.1--梯度下降与正则化
正规方程（Normal Equation）
2018-12-06线性回归的梯度下降

批梯度下降法(Gradient Descent)
正规方程法(Normal Equation)

	批梯度下降	正规方程
学习速率	需要设置	不需要
计算次数	需要多次迭代	不需要迭代
时间复杂度	O (kn²)	O (n³) 需要计算 X^TX
特征数量	即使n很大也能工作	如果n很大会很慢

总结：

如果特征值小于10k，或者100k，正规方程会是一个非常简便高效的方法。
否则，正规方程的计算时间将会变的非常巨大，还是使用批梯度下降法比较好。
正规方程支持的算法不是很多，批梯度下降法几乎支持主流的方法。

所以，出于学习目的，两个方法都是值得的。

Machine_learning(持续补充......)
1.线性回归涉及到了批量梯度下降算法和正规方程求解
2019-04-13
目录假设函数概念线性假设类损失函数梯度下降和随机梯度下降矩阵迹的倒数正规方程法解线性假设函数最优参数 1...
[线性回归] 梯度下降和正规方程法
批梯度下降法(Gradient Descent)正规方程法(Normal Equation) 总结：如果特征值小...
2018-12-07正规方程
梯度下降给出了一种最小化J的方法，第二种方法是正规方程。对于某些线性回归问题，用正规方程法求解参数 θ 的最优值...
线性回归、岭回归
用sklearn内置的波士顿房屋数据集做一下房价预测，练习线性回归的API。正规方程法梯度下降法岭回归获取...
多元线性回归
概述之前我们讲了最基本、最简单的一元线性回归算法，本章主要讲解多元线性回归,以及梯度下降、特征缩放和正规方程解等...
哲哲的ML笔记（九：正规方程）
到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法是更好的解决方案正规方程是通过求解 ...
机器学习笔记E2.1--梯度下降与正则化
前面的笔记简单介绍了线性回归的相关内容，针对正规方程法求解参数时的两个问题，这里将介绍梯度下降法（Gradi...
正规方程（Normal Equation）
针对某些线性回归问题，除了梯度下降算法，有一个更好的方法来求出最优解，就是正规方程（Normal Equation...
2018-12-06线性回归的梯度下降
当梯度算法应用于线性回归的情况时，可以导出梯度下降方程的新形式。我们将梯度下降和平方误差代价函数结合：用于线性...