概述：ReLU函数的计算是在卷积之后进行的，因此它与tanh函数和sigmoid函数一样，同属于非线性激活函数。ReLU函数的倒数在正数部分是恒等于1的，因此在深度网络中使用relu激活函数就不会导致梯度小时和爆炸的问题。并且，ReLU函数计算速度快，加快了网络的训练。不过，如果梯度过大，导致很多负数，由于负数部分值为0，这些神经元将无法激活（可通过设置较小学习率来解决）。
1.ReLu：
后向推导过程：设层输出为
,经过激活函数后的输出为
；记损失函数L关于第
层的输出
的偏导为
,则损失函数L关于第
层的偏导为：
2.LeakReLU：
LeakReLU
在负数部分给予一个小的梯度。由Relu可知损失函数L关于第层的偏导为：
3.PReLU：
表达式与LeakReLu相同，只不过可以学习。损失函数L关于参数
的偏导为：
4.ELU：
由LeakRelu可知损失函数L关于第层的偏导为：
5.SELU：
由ELU可知损失函数L关于第层的偏导为：
总结：当激活值的均值非0时，就会对下一层造成一个bias，如果激活值之间不会相互抵消（即均值非0），会导致下一层的激活单元有bias shift。如此叠加，单元越多时，bias shift就会越大。除了ReLU，其它激活函数都将输出的平均值接近0，从而加快模型收敛，类似于Batch Normalization的效果，但是计算复杂度更低。虽然LeakReLU和PReLU都也有负值，但是它们不保证在不激活状态下（就是在输入为负的状态下）对噪声鲁棒。反观ELU在输入取较小值时具有软饱和的特性，提升了对噪声的鲁棒性。
网友评论