-
激活函数。可以在
__init__()里实例化nn.下的激活函数计算节点,也可以直接在forward()中使用nn.functional.下的函数 -
对模型的参数设定初始化。在
__init__()中实例化某计算节点后,对其参数初始化。
import torch.nn.init as init
def __init__():
···
#从高斯分布中抽样
init.normal(.weight, mean= ,std= )
- 按照神经网络的类别做不同的参数初始化
def Model(nn.Module):
···
model = Module()
model.apply(···)
- dropout加入的位置是在relu激活函数之后,下一层全连接层之前。可以实例化用
nn.Dropout()节点,也可以用F.dropout()。









网友评论