什么是正则，为什么要正则
机器学习深度学习中的正则化（regularization）可以理解为模型的复杂度。我们希望学习到复杂度小一些的模型，加入正则可以降低模型的复杂度。L1正则L2正则也是加入参数和的绝对值或者参数平方的和。这里有一个假设，这些参数的值越小，通常对应于约光滑的函数，也就是更加简单的函数，因此就不容易发生过拟合现象。在cost函数中加入正则项，为了减小cost，就得相应的减少正则项，也就是尽量得到较小的参数。
正则系数
原来的模型是为了更好地拟合训练样本，正则是为了保持参数值较小，使模型更简单，减少过拟合。正则系数要做的是控制在两个不同的目标的平衡关系。
神经网络中的正则化
带有正则的cost函数偏向于让神经网络学习比较小的权重，在权重小的情况下，数据x随机的变化不会对神经网络的模型造成太大的影响，所以受到数据局部噪音影响的可能性比较低。而未加入正则化的神经网络，权重大，容易通过较大的模型改变来适应数据，更容易学习到局部的噪音。
神经网络学习中除了通过正则化避免过拟合之外，还有Dropout的方式。Dropout不是通过改变cost函数，而是改变神经网络本身的结构。有关文章
网友评论