高方差和高偏差的解决方案
我们已经介绍了怎样评价一个学习算法，我们讨论了模型选择问题，偏差和方差的问题。
什么情况下应该怎样选择：
获得更多的训练样本——解决高方差
尝试减少特征的数量——解决高方差
尝试增加正则化程度λ——解决高方差
尝试获得更多的特征——解决高偏差
尝试增加多项式特征——解决高偏差
尝试减少正则化程度λ——解决高偏差
3类曲线图
-
损失函数-多项式维数
- 损失函数-正则化参数
- 损失函数-训练样本数
|
|
|---|
选取模型的步骤
- 无正则化
- 使用训练集训练出10个模型
- 用10个模型分别对交叉验证集计算得出交叉验证误差
- 选取代价函数值最小的模型（图中以
为例
- 用步骤3中选出的模型对测试集计算得出推广误差
- 添加正则
- 使用训练集训练出12个不同程度正则化的模型
- 用12个模型分别对交叉验证集计算的出交叉验证误差
- 选择得出交叉验证误差最小的模型
- 运用步骤3中选出模型对测试集计算得出推广误差，（也可以同时将训练集和交叉验证集模型的代价函数误差与λ的值绘制在一张图表上
神经网络中的欠拟合、过拟合
使用较小的神经网络，类似于参数较少的情况，容易导致高偏差和欠拟合，但计算代价较小
使用较大的神经网络，类似于参数较多的情况，容易导致高方差和过拟合，虽然计算代价比较大，但是可以通过正则化手段来调整而更加适应数据。 通常选择较大的神经网络并采用正则化处理会比采用较小的神经网络效果要好
对于神经网络中的隐藏层的层数的选择，通常从一层开始逐渐增加层数，为了更好地作选择，可以把数据分为训练集、交叉验证集和测试集，针对不同隐藏层层数的神经网络训练神经网络， 然后选择交叉验证集代价最小的神经网络
网友评论