Alexnet

Alexnet是一年一度的ImageNet大型视觉识别挑战赛(ILSVRC)2012年冠军，ILSVRC使用ImageNet的一个子集，分为1000种类别，每种类别中都有大约1000张图像，大约有120万张训练图像，50,000张验证图像和150,000张测试图像。 Alexnet共有600000000训练参数和650000神经元。

image.png

基本结构
卷积层：5层
全连接层：3层
深度：8层
参数个数：60M
神经元个数：650k
分类数目：1000类

image.png image.png

Conv1:
输入图像规格：2242243 padding之后为2272273
Kernel size: 11113 stride:4 num_output:96
New_feture_size=(img_size-filter_size)/stride+1
(227-11)/4+1=55
输出：555596(290400)
激活函数Relu以后输出的还是555596
Maxpooling:kernel size:33 stride:2
(55-3)/2+1=27
输出：272796
局部相应归一化后输出的还是272796,分为两组，
每组分别为（272748）
训练参数：9611113=34848

image.png

Conv2:
输入图像规格：272796 padding：2
Kernel size:5548 stride:1 num_output:256
(27-5+22)/1+1=27
输出：两组2727128
激活函数Relu以后输出的还是2727128
Maxpooling:kernel size:33 stride:2
(27-3)/2+1=13
输出：两组1313128
归一化后输出的还是两组1313128
训练参数：25655*48=307200

image.png

Conv3:
输入规格：两组1313128 padding：1
Kernel size:33256 stride:1 num_output:192
(13-3+12)/1+1=13
输出：两组1313192
通过激活函数还是输出：两组1313192
训练参数：38433256=884736

image.png

Conv4:
输入规格：两组1313192 padding：1
Kernel size:33192 stride:1 num_output:192
(13-3+12)/1+1=13
输出：两组1313192
通过激活函数还是输出：两组1313192
训练参数：38433192=663552

image.png

Conv5:
输入规格：两组1313192 padding：1
Kernel size:33192 stride:1 num_output:128
(13-3+12)/1+1=13
输出：两组1313128
通过激活函数还是输出：两组1313128
Pooling:kernel size:33 stride:2
(13-3)/2+1=6
输出：两组66128
训练参数：25633*192=442368

image.png

FC6 全连接层:
输入规格：两组66128
Kernel size:66256
通过4096个神经元输出运算结果，这4096个运算结果通过relu激活函数生成4096个值，并通过drop运算后输出4096个本层结果
dropout:通过定义的概率来随机删除一些神经元,同时保持输入层与输出层神经元不变
训练参数：409666*256=37748736

image.png

FC7:第六层输出的4096个数据与第七层的4096个神经元进行全连接，
然后经由relu7进行处理后生成4096个数据，
再经过dropout7处理后输出4096个数据。
训练参数：4096*4096=16777216

image.png

FC8:第七层输出的4096个数据与第八层的1000个神经元进行全连接
训练参数：4096*1000=4096000

image.png