非线性激活函数的作用

作者: thelong的学习日记 | 来源:发表于2019-08-16 22:41 被阅读0次

激活函数作用
机器学习笔记（五）——激活函数
理解激活函数
机器学习常见面试问题及答案汇总
DL问题
非线性激活函数的作用
常用的激活函数
mxnet:神经网络的激活函数
About Activation Function All Yo
激活函数与损失函数

一直有个疑问为什么需要非线性激活函数？
如果没有激活函数g(z),即g（z）=z，就叫线性激活函数，或者叫恒等激活函数，如图所示：

那么不加非线性函数和原来有什么区别呢？

可以看到没有非线性激活函数后,化简第2层的输出结果：
a2=w2 * a1+b2
=w2 * (w1 * x+b1)
=(w2 * w1)x+(w2 * b1+b2)
=w' * x+b'
第2层的输出结果依然是线性表达式，与第一层输出结果相比只是参数不同，这里的参数是 w'和b'，即使网络加到100层也依然是线性表达式，这就是没有激活函数的结果。

参考：

吴恩达深度学习：
https://mooc.study.163.com/learn/2001281002?tid=2001392029#/learn/content?type=detail&id=2001702018

激活函数作用
1、激活函数作用解决不能用线性方程概括的问题感知机原方程：(线性）添加激活函数：(非线性化）注意：激活函数...
机器学习笔记（五）——激活函数
激活函数区别和作用本质：激活函数是来向神经网络中引入非线性因素，通过激活函数，神经网络就可以拟合各种曲线...
理解激活函数
一、何为激活函数？深度学习中，激活函数通常指能够实现非线性映射的函数二、为什么需要非线性激活函数？定义：这里...
机器学习常见面试问题及答案汇总
一些常见的机器学习面试题（不定时更新）。激活函数的作用？激活函数为神经网络提供了非线性。如果不使用激活函数，每一...
DL问题
激活函数的作用：能处理非线性特性如果不用激活函数，输出信号仅是个简单的线性函数，复杂性有限，能从数据中学习复杂函...
非线性激活函数的作用
一直有个疑问为什么需要非线性激活函数？如果没有激活函数g(z),即g（z）=z，就叫线性激活函数，或者叫恒等激活...
常用的激活函数
激活函数的作用激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。我们知...
mxnet:神经网络的激活函数
1.为什么激活函数必须为非线性? 为保证非线性，激活函数必须为非线性函数.要让你的神经网络能够计算出有趣的函数,你...
About Activation Function All Yo
激活函数激活函数的意义：激活函数为层与层之间增加非线性连接，增加模型的复杂性，如果层之间没有非线性，那么即使很深...
激活函数与损失函数
激活函数 1、作用：线性模型的表达能力不够，激活函数增加神经网络模型的非线性，提升神经网络模型表达能力（数据往往...