关于错误：OOM ResourceExhaustedError 的完美解决方法

63 阅读 0 评论 42 点赞

我是靠谱客的博主酷酷大米，最近开发中收集的这篇文章主要介绍关于错误：OOM ResourceExhaustedError 的完美解决方法，觉得挺不错的，现在分享给大家，希望可以做个参考。

我使用MobileNet训练图片分类器，参数大概有几百万个并不是很多，然而报错OOM ResourceExhaustedError

这样的话可能有两个原因：

（1）batchsize太大，这种只需要将batchsize减小就行了

（2）GPU的显存太小，或者剩余的显存太少了

因为我将batchsize减少到1还是会出现这种错误，所以肯定不是batchsize太大的问题。

于是我用命令nvidia-smi查看了我的GPU使用情况，如下：

有个很奇怪的问题，没有进程在跑，但是显存占用Memory-Usage几乎被用完了。想通过kill掉进程也没进程可以kill.用命令fuser -v /dev/nvidia*找运行的进程，也没找到任何进程。

后来进过别人提醒才发现，是jupyter上许多之前的程序没有shutdown掉，一直在占用内存，打开jupyter，如下：

这是我已经shutdown之后的情况，但位置是一样的，将不用的程序shutdown就好了。

至此，问题完美解决。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。