tensor都有register_hook方法，每次当关于这个参数的gradient被计算出来以后都会调用这个方法，因此可以用于debug等等，下面是对一部分梯度进行mask。 def _emb_hook(self, grad):
return grad * Variable(self.grad_mask.unsqueeze(1)).type_as(grad)
def set_grad_mask(self, mask):
self.grad_mask = torch.from_numpy(mask)
self.embedding.weight.register_hook(self._emb_hook)
每一个tensor都有register_hook方法，每次当关于这个参数的gradient被计算出来以后都会调用这...
目录： PyTorch学习教程、手册 PyTorch视频教程 NLP&PyTorch实战 CV&PyTorch实战...
一、pytorch pytorch教程： https://github.com/yunjey/pytorch-tu...
如何在Pytorch框架下使用tensorboardX:[Pytorch]PyTorch使用tensorboard...
1.深度学习框架 Pytorch https://github.com/pytorch/pytorch PyTor...
1.深度学习框架 Pytorch https://github.com/pytorch/pytorch PyTor...
1.深度学习框架 Pytorch https://github.com/pytorch/pytorch PyTor...
官网 https://pytorch.org/ pytorch文档 https://pytorch.org/doc...
安装pytorch pytorch官网：https://pytorch.org/get-started/local...
使用pytorch-lightning进行图片分类 pytorch-lightning是基于pytorch的API...
本文标题：[PyTorch] register_hook
本文链接：https://www.haomeiwen.com/subject/htsvxctx.html
网友评论