LRN

作者: 衣介书生 | 来源:发表于2019-05-16 23:53 被阅读0次

LRN全称为Local Response Normalization,即局部响应归一化层,LRN函数类似Dropout,是一种防止过拟合的方法。这个函数很少使用,基本上被类似Dropout这样的方法取代,见最早的出处AlexNet论文对它的定义, 《ImageNet Classification with Deep ConvolutionalNeural Networks》

b_{x,y}^{i} = \frac{a_{x,y}^{i}}{(k+\alpha\sum_{j=max(0, i-n/2)}^{min(N-1, i+n/2)}(a_{x,y}^{j})^2)^{\beta}}

b_{x,y}^{i}是归一化后的值,i是通道的位置,代表更新第几个通道的值,x与y代表待更新像素的位置。

a_{x,y}^{i}是输入值,是激活函数Relu的输出值。

k, \alpha, \beta, n/2都是自定义系数。

N是总的通道数。

累加多少个通道的像素值取决于自定义系数 n/2 。

比如要计算红框位置的b_{x,y}^{i},累加效果如图所示:

参考

LRN ( Local Response Normalization) 局部响应归一化层

相关文章

  • LRN 和 BN 的区别 (补一个 LCN)

    LRN 与 BN 的区别: ==== LRN 首先,我们知道 LRN 首先是在 AlexNet 中首先,被定义,它...

  • LRC系列有大庄

    大庄最近策略,拉动流通量少的LRN来带动LRC的大涨。 已经两次如此操作,LRN直接拉动都在60%以上。 LRN散...

  • LRN

    LRN全称为Local Response Normalization,即局部响应归一化层,LRN函数类似Dropo...

  • 2018-08-07AlexNet实现详解

    A结构 B代码 A结构: AlexNet结构为8层。(不包含LRN与池化层) conv1+LRN&pool1 --...

  • 2018-10-25

    grab the element add the click function if there is ,lrn_...

  • LRN登陆新加坡交易所Tokenomy

    路印协议LRN正式登陆新加坡交易所Tokenomy,Tokenomy将于北京时间2018年12月18日开放LRN充...

  • LRN登陆新加坡交易所Tokenomy

    路印协议LRN正式登陆新加坡交易所Tokenomy,Tokenomy将于北京时间2018年12月18日开放LRN充...

  • Caffe详解(五)归一化层

    Caffe详解从零开始,一步一步学习caffe的使用,期间贯穿深度学习和调参的相关知识! LRN 参数配置 LRN...

  • 关于LRN空投的回顾

    关于LRN空投的回顾 LRN概述 路印协议作为一个去中心化交易撮合协议,本身并不是一个跨链撮合协议,因此LRC无法...

  • 路印协议项目进度报告(第31期)

    随着上周LRN第三次空投的顺利完成,一共2151812.5个LRN被空投到了845个符合条件的NEO地址上,路印三...

网友评论

      本文标题:LRN

      本文链接:https://www.haomeiwen.com/subject/typlaqtx.html