概述
针对错误:OOM when allocating tensor with shape[2,512,320,320] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
问题描述
硬件种类 | 型号 | 描述 |
---|---|---|
显卡 | NVIDIA-1660 | 专用GPU内存6G |
之前的训练一直将Config中的参数IMAGES_PER_GPU设为2, RPN_ANCHOR_SCALES = (16, 32, 64, 128, 256) .
之后为了针对小物体进行训练, 将RPN_ANCHOR_SCALES 设置为(8 * 4, 16 * 4, 32 * 4, 64 * 4, 128 * 4)出现了这个错误
问题分析
这样的话可能有两个原因:
(1)batchsize太大,这种只需要将batchsize减小就行了
(2)GPU的显存太小,或者剩余的显存太少了
解决方法
- 确认没有其他程序占用过多的GPU内存,如果有请清理
- 降低bacth_size: batch_size = gpu_count * image_per_gpu, 因此将image_per_gpu修改为1解决了该问题
如果上述方法仍然不能解决问题: 该问题在github的tensorflow和MaskRCNN仓中的issue中均有人提问,如想深入分析或寻求解决方案,请参考以上链接中的回答
最后
以上就是优秀帅哥为你收集整理的Mask-RCNN应用 -Training Error: MaskRCNN OOM when allocating tensor with shape[2,512,320,320]的全部内容,希望文章能够帮你解决Mask-RCNN应用 -Training Error: MaskRCNN OOM when allocating tensor with shape[2,512,320,320]所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复