概述
在进行网络训练的时候,显示loss.backward()处出现RuntimeError:one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [5, 16, 316, 316]], which is output 0 of LeakyReluBackward1, is at version 2; expected version 1 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True) 的错误。
在网上找了一圈,这类问题主要是梯度求导的问题,在计算梯度前此变量被修改。下面是我在网上找到的方法,及对我有用的方法,亲则有效!
方法一:
可以看下代码里有没有a += xxx
这类的代码,把它改成:
a = a + xxx
或者a = a.clone() + xxx
方法二:
可以看看是不是网络共用某个参数。当两个地方共用了同一个参数,先进行求导的那个地方更新了这个参数导致后面共用这个参数的地方的梯度计算失败。其解决方法是在第二个网络计算梯度之前对这个参数进行detach()操作。
方法三:
将网络中ReLU相关的激活函数中的(inplace=True)改为False。
此方法亲测有效!
最后
以上就是动人高跟鞋为你收集整理的RuntimeError:one of the variables needed for gradient computation has been modified by an inplace...方法一:方法二:方法三:的全部内容,希望文章能够帮你解决RuntimeError:one of the variables needed for gradient computation has been modified by an inplace...方法一:方法二:方法三:所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复