正规方程：提供了一种求参数的解析算法，从而不需要再根据反复迭代求
值
正规方程原理
如果想要求代价函数最小时，参数的取值，对于二次函数，根据微积分的性质，直接求导数，导数为零的时候所得的参数值即为所求。而对于我们问题中的损失函数，参数是一个向量，有m+1个，此时根据微积分，对每一个参数求偏导并等于零，也可以求出损失函数最小时的参数值，但是计算麻烦，正规方程提供了解决这个问题的方法。
一个说明正规方程的例子
假设我们的数据就是以上四个，数据有四个特征，我们给他加上一列特征，并使其取值均为1，则可以构造一个全部由参数组成矩阵X，同样y也可以写成向量形式。则根据红色框内的公式就可以求得使损失函数最小时的
的取值。
正规方程 的构建
假设我们现在有m个样本，每个样本有n个特征，则每一个样本都可以表示为向量,则设计矩阵X中，每一个行向量都是
的转置,而标签y就是一个列向量，则可得到正规方程。正规方程可以直接得到最好的
值，且使用正规方程法时，不需要特征缩放。
梯度下降法和正规方程法的比较
在特征数量较小的时候选择正规方程法，而特征数量较大的时候，矩阵的计算较为复杂，此时采用正规方程法不太合适，因此就会选择梯度下降法，但是具体在数量视情况而定。在某些正规方程不适用的条件下也会选择梯度下降法。
网友评论