DPN 是 ImageNet 2017 目标定位冠军网络。作者提出了一种用于图像分类的简单、高效和模块化的双路径网络（Dual Path Network /DPN），该神经网络内部连接路径采用了一种新的拓扑结构。其灵感来源于ResNet和DenseNet，在下面我们将对这种拓扑结构进行简单的解释。
通过从一个新的角度——循环神经网络HORNN框架对ResNet和DenseNet进行观察，作者发现这两者在某种条件下这两者其实是同属于一种网络家族的。
不同网络之间的拓扑关系。(a) 和 (b) 展示残差网络和 RNN 之间的关系，(c) 和 (d) 展示了 DesNet 和高阶循环神经网络间的关系。其中「z^(-1)」表示一个时间延迟单元，「⊕」表示元素级的和，而「I(·)」表示恒等映射函数。
在上图中可以将公式（1）看作是一个DenseBlock提取特征的式子，则中括号内的ftk表示Block内每一层卷积提取特征，而函数gk则是一个融合转换函数，可以看做是一个1x1的卷积，对所有通道信息进行一个整合。因此k就表示第k个Block，t表示此block中的不同卷积层。
而当ftk恒等于ft成立时，我们从上图中式子（2）（3）可以得到式子（4），式子（4）最后其实就是一个残差公式，而式子（2）带入（3）中其实就是上面DenseNet的式子（1）。因此可以看到当满足ftk恒等于ft条件时，DenseNet就变成了ResNet，因此ResNet其实是DenseNet家族中的一种。
在ResNet中所有的ftk都相同，等于ft，使得其可以重复利用特征但是无法发现新的特征。而在DenseNet中虽然不同的ftk可以发现新的特征，但是不同的ftk可能会提取出相同类型的特征导致特征冗余。也正是基于此，作者提出了一种新的网络结构——双路径网络（DNP）。 顾名思义，双路径网络即包含两条路径——一条与ResNet的跳跃连接方式相同，另一条则是与DenseNet的跳跃连接方式相同。具体如下图：
（a）残差网络；（b）密集连接网络，每一层都可以获取所有先前微模块的输出。这里，添加 1×1 卷积层是为了与（a）中的微模块设计保持一致性；（c）通过共享（b）中层间的相同输出的首个 1×1 连接，密集连接网简并成一个残差网络，（c）中用虚线圈起的长方形标出了残差单元的位置；（d）本篇所提出的双路径结构——dual path architecture——DPN。（e）实现过程中（d）的等价形式，「~」表示一个分支操作（split operation），「+」表示元素级（element-wise）的相加
如上图所示，式子（5）和（6）分别表示DenseNet路径和ResNet路径，式子（7）将两条路径得到的特征进行一个整合最后送入式子（8）进行一个转换。从上面的我们可以知道公式（5）使得网络可以探索发现新的特征而公式（6）则使得特征得以重复利用。因此双路径特征可以说是兼具了ResNet和DenseNet的优点，同时又克服了其缺点，效果自然是很好地。
在实现上，每一个block包括一个1x1卷积，3x3卷积和一个1x1卷积，最后一个1x1卷积的输出分成了两部分，一部分通过元素按位相加输入到ResNet路径，另一部分则是通道合并送入了DenseNet路径。DPN使用残差网络作为主干网络，这样可以有效避免DenseNet的通道数增长过快。此外，为了提高各个block的学习能力，作者还使用了ResNext中使用到的‘group convolution’策略。
最后，DPN在各个数据集上的表现自然是不差的，感兴趣的可以看论文。
简单总结一下，作者从循环卷积网络框架HORNN的角度重新观察ResNet和DenseNet，发现ResNet其实属于DenseNet网络家族的。ResNet可以复用特征，而DenseNet则是可以发现新的特征但是也可能发现同类型特征导致特征冗余。在此基础上，作者将二者结合提出了双路径网络，不仅能复用特征还能够提取新的特征，兼具二者优点。
但是仍感疑惑的是，DPN中的DenseNet是如何消除其可能提取到冗余特征的缺点的，通过减少DenseNet 卷积层的数量吗？暂且猜测如此。
参考：
Dual Path Networks.
网友评论