问题一：为什么神经网络的损失函数用交叉熵而不是均方误差？
答：理想情况下理想情况下，我们希望神经网络能够快速地从错误中学习，并且错误越大，下降速度越快。
但有时候采用均方误差时loss很大，下降速率却很慢。对sigmoid激活函数而言，在输出神经元接近0或1时，梯度几乎为0，如果是错误结果，则无法正常更新参数。同时，交叉熵函数收敛更快。
参考：http://flyrie.top/2018/06/23/LossFunction/
问题二：模型蒸馏的关键soft label的理论依据？
答：作者认为一般的概率输出忽略了不同错误分类间的信息，如：输出[0.9,0.1,0.0001,0.000001,........]，虽然正确的是第一类，但是错误输出之间也有数量级的差别，这部分信息应该被充分利用。
补充：teacher net可以是多个不同的net 做融合。
问题三：
问题一：为什么神经网络的损失函数用交叉熵而不是均方误差？答：理想情况下理想情况下，我们希望神经网络能够快速地从错误...
深度学习基础教程 [tag]深度学习,机器学习,数据分析,挖掘,算法, [content]深度学习的入门基础。 [...
本文基于深度学习基础平台环境，搭建深度学习基础平台请参考深度学习：Ubuntu16.04+双TitanX+CUDA...
本文基于深度学习基础平台环境，搭建深度学习基础平台请参考深度学习：Ubuntu16.04+双TitanX+CUDA...
零基础入门深度学习(1) - 感知器零基础入门深度学习(2) - 线性单元和梯度下降零基础入门深度学习(3) - ...
承接前面的《浅谈机器学习基础》、《浅谈深度学习基础》和《浅谈自然语言处理基础》，主要参考了《解析深度学习:语音识别...
优化问题可选解： optimizer优化算法总结 - CSDN博客 深度学习最全优化方法总结比较（SGD，Adag...
模仿并非简单的照搬照抄，而是在自己深度学习、理解的基础上，进行二次创作。 《深度模仿》的作者总结了世界16家优秀企...
Tensorflow基础 1. 深度学习介绍 机器学习与深度学习的区别 深度学习的算法本身设计复杂，数据量大，特征...
《利用Python进行数据分析》 Python基础知识 深度学习入门:吴恩达深度学习课程 基础机器学习模型实现 J...
本文标题：深度学习基础问题总结
本文链接：https://www.haomeiwen.com/subject/otmsvctx.html
网友评论