课程笔记:HOOK函数
hook函数可以分为两部分:关于tensor(第一种)和关于module(第二三四种)tensor.register_hook在反向传播完成时,非叶子结点的梯度会消失tensor.register_hook作用:1)完成保存非叶子结点的梯度2)修改叶子结点的值例如:保存a的梯度值;修改w的梯度值w = torch.tensor([1.], requires_grad=True)x = torch.tensor([2.], requires_grad=True)a = torch.ad