写在前面：深度学习调参真是玄学。
测试集正确率很高但是训练集正确率不高说明过拟合。
过拟合有两种改进方法，一种是减小网络复杂度，一种是调整测试集。
测试集加噪幅度不够，测试集加噪数量不够，都有可能出问题，因此我要从这两个方向下手增加样本。
加噪可以选择高斯白噪声或var库，先测试白噪声，数量增加试一波，功率增加试一波。
但还是取得了一些进展，在调整了learning rate和迭代算法之后，可以在训练集上过拟合了(99%)之前一直怀疑程序有问题，现在看来是设置过于保守，收敛太慢。也可能是之前没加噪，总之我也说不清，都有可能吧。
等今晚网络迭代完看下结果。
先这样吧，睡个好觉。
写在前面：深度学习调参真是玄学。 测试集正确率很高但是训练集正确率不高说明过拟合。 过拟合有两种改进方法，一种是减...
1首先是数据增强，因为正常情况下，数据量往往不够，因此需要通过裁剪 2数据预处理，pca，normalizatio...
参数更新 神经网络的学习目的是找到使损失函数尽可能小的参数,即解决一个最优化问题.但是由于神经网络参数空间过于复杂...
死亡的神经元占的比例 RELU 文中给出了一种针对ReLU神经元的特殊初始化，并给出结论：网络中神经元的方差应该是...
转载https://www.sohu.com/a/241208957_787107 基本原则:快速试错 一些大的注...
1.lr用1e-2-1e-3结果较好。lr值小的话，上升test auc会比较慢，但最后结果说不定会比lr大要好。...
我们平时一直都在说“调参、调参”，但实际上，不是调“参数”，而是调“超参数” 1.参数（Parameter） 参数...
外面有只狗在叫，好烦啊。
｜公｜众｜号｜包包算法笔记｜ 背景 事情的起因其实这样，实验室老同学的论文要冲分，问我有没有啥在NN上，基本都有用...
1 模型原理及调参参考 调参：XGBoost参数调优完全指南原理：xgboost入门与实战（原理篇） 2 输出基线...
本文标题：调参狗好烦
本文链接：https://www.haomeiwen.com/subject/izhxhttx.html
网友评论