二.交叉熵损失函数（Softmax损失函数）

关于交叉熵在loss函数中使用的理解

https://blog.csdn.net/tsyccnh/article/details/79163834

神经网络基本构架

交叉熵损失函数

交叉熵损失函数一般用于分类任务：

softmax函数

详解softmax函数以及相关求导过程

https://zhuanlan.zhihu.com/p/25723112

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

交叉熵函数

为什么使用交叉熵损失函数

交叉熵代价函数（作用及公式推导） 

https://blog.csdn.net/u014313009/article/details/51043064

实际情况证明，交叉熵代价函数带来的训练效果往往比二次代价函数要好。

小结

（1）分类问题的目标函数中：交叉熵损失函数是最为常用的分类目标函数，且效果一般优于合页损失函数；大间隔损失函数和中心损失函数从增大类间距离、减小类内距离的角度不仅要求分类准确，而且还有助提高特征的分辨能力；坡道损失函数是分类问题目标函数中的一类非凸损失函数，由于其良好的抗噪特性，推荐将其用于样本噪声或离群点较多的分类任务；

（2）回归问题的目标函数中：l1损失函数和l2损失函数是常用的回归任务目标函数，实际使用l2略优于l1；Tukey‘s biweight损失函数为回归问题中的一类非凸损失函数，同样具有良好的抗噪能力；

（3）在一些如年龄识别，头部角度姿态识别等样本标记不确定性的特殊应用场景下，基于标记分布（label distribution）的损失函数是比较好的选择。