一、池化层（Pooling Layer）
- 池化运算：对信号进行“收集”并“总结”，类似水池收集水资源，因而得名池化层。
- 在尽可能保留图片空间信息的前提下，降低图片的尺寸，增大卷积核感受野，提取高层特征，同时减少网络参数量，预防过拟合。
-
其具体操作与卷积层的操作基本相同，只不过下采样的卷积核为只取对应位置的最大值、平均值等（最大池化、平均池化），即矩阵之间的运算规律不一样，并且不经过反向传播的修改。
nn.MaxPool2d
nn.AvgPool2d
二、线性层
-
线性层又称全连接层，其每个神经元与上层所有神经元相连，实现对前一层的线性组合，线性变换
三、激活函数层（Activation Layer）
- 在全连接网络每一层之间通常会引入激活函数层，激活函数层赋予了神经网络深度的意义。因为如果没有激活函数层，多层的全连接网络本质上与一层全连接网络是等价的。
1、nn.Sigmoid
2、nn.tanh
3、nn.ReLu
网友评论