神经网络为什么会出现过拟合的情况呢？什么是过拟合呢？
一、过拟合的原因
过拟合的原因总体来说，就是模型能力和数据量不匹配。
也就是说模型过大，其学习能力远超数据集里的特征总量，导致模型里的参数直接记住了所有的特征量，以至于在训练的时候损失很低，准确率很高，然而在测试集或者实际生产活动中，表现欠佳。这就被称之为过拟合。
当然并不是说，训练集表现好，测试集表现差的就都是过拟合。这也有可能是训练集和测试集分布不一样所导致的。所以过拟合还是得具体观察。
二、如何防止过拟合？
那么总体来说，就是给模型增加先验知识，例如说，增加数据量、降低模型的参数量，使用dropout，resblock等。我们总体可以分为：数据上加先验、模型上加先验、损失函数上加先验。
（1）在数据上加先验
- 增加数据量，增加样本数量。丰富样本多样性
- 特征工程，提取一些特征。例如：使用opencv提取轮廓、使用数据增强技术等
（2）在模型上加先验
- 减少模型参数量，可以减少神经元的数量和减少神经网络层数。
- 使用DropOut。
- 修改模型结构：例如使用残差块
（3）在损失函数上增加先验
- 使用正则化，L1, L2，在pytorch中的weight-decay参数。
- 在损失上加入子损失辅助梯度更新。
- 使用提示性学习或者指示性学习
网友评论