激活函数：
激活函数是使线性函数变成非线性，使神经网络表达能力更强，几乎可以逼近任意函数。值域是-1到1或者0到1，定义域负无穷到正无穷。在-1和1区间梯度很大，而在其他地方很小。
激活函数一：sigmoid
sigonid表达式
图像为：
sigmoid函数图像
sigmoid函数值域在（0，1）所以非常适合做概率问题；
激活函数二：tanh
tanh函数表达书
图像为：
tanh图像
tanh值域在（-1，1）；在区间（-1，1）上的最大梯度是1，比sigmoid梯度0.25大，因此更适合做深度学习的激活函数。
激活函数三：ReLU
ReLU函数表达式
图像：
ReLU图像
ReLU函数在大于0时有梯度且恒定，小于0后梯度恒等于0。收敛速度远快于sigmoid和tanh，计算速度非常快，只需要判断输入是否大于0。
2019-10-09 宗明3 字数 379 · 阅读 0 2019-10-0921:29 2019-10-09 宗...
title: A thorough understanding ofdate: 2019-10-09 16:58:...
将["2019-12-02", "2019-11-11", "2019-10-09", "2018-12-12",...
2019-10-09 LilyKoon 广州越秀 为什么说“硬核”，其实，是为了假装吸引眼球。（不满请拍砖?） ...
标签：富兰克林，13，13条美德，美德，富兰克林美德。 修订历史 2019-10-09：首次发布。 译文出处 以下...
2019-10-09 姓名：乐美清 公司：宁波华光 《六项精进》第340期 反省二组学员；515期， 反省二组志工...
2019-10-09 姓名：符振华（379期 反省三组） 公司：深圳蔚蓝时代商业管理有限公司-上海第一分公司 【日...
2019-10-09【私聊（1）】【武言吾语】直播分享（4） 接收/传递者：武立啾啾/舅舅 直播微信群：12层级天...
2019-10-09 打卡人：王素琴 公司：阜阳市豹子头服饰科技有限公司【日精进打卡第524天 【知～学习】 姓...
2019-10-09， 这是梦到你的第98次，不管是现实还是做梦，这是你第一次答应我，做我的女朋友。 ...
本文标题：2019-10-09
本文链接：https://www.haomeiwen.com/subject/iarnpctx.html
网友评论