我是靠谱客的博主 动人高跟鞋,最近开发中收集的这篇文章主要介绍RuntimeError:one of the variables needed for gradient computation has been modified by an inplace...方法一:方法二:方法三:,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

在进行网络训练的时候,显示loss.backward()处出现RuntimeError:one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [5, 16, 316, 316]], which is output 0 of LeakyReluBackward1, is at version 2; expected version 1 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True) 的错误。

在网上找了一圈,这类问题主要是梯度求导的问题,在计算梯度前此变量被修改。下面是我在网上找到的方法,及对我有用的方法,亲则有效!

方法一:

可以看下代码里有没有a += xxx这类的代码,把它改成:

a = a + xxx

或者a = a.clone() + xxx

方法二:

可以看看是不是网络共用某个参数。当两个地方共用了同一个参数,先进行求导的那个地方更新了这个参数导致后面共用这个参数的地方的梯度计算失败。其解决方法是在第二个网络计算梯度之前对这个参数进行detach()操作。

方法三:

将网络中ReLU相关的激活函数中的(inplace=True)改为False

此方法亲测有效!

最后

以上就是动人高跟鞋为你收集整理的RuntimeError:one of the variables needed for gradient computation has been modified by an inplace...方法一:方法二:方法三:的全部内容,希望文章能够帮你解决RuntimeError:one of the variables needed for gradient computation has been modified by an inplace...方法一:方法二:方法三:所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(54)

评论列表共有 0 条评论

立即
投稿
返回
顶部