我是靠谱客的博主 直率盼望,最近开发中收集的这篇文章主要介绍关于checkpoints的问题,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

关于单与多GPU的checkpoints的问题

经过验证,多GPU训练并保存的checkpoints与单GPU checkpoints有区别

验证用四个gpu【0,1,2,3】训练的模型可以用【0,1,2】三个gpu来test,也可以用【0,1,2,3,5】五个gpu,甚至可以用【0】单个gpu来验证,需要将代码设置为以下:

net = get_network(args)
device_ids = [0,1,2]
net = nn.DataParallel(net, device_ids=device_ids)

其他地方无需改动,net在get_network已经放到cuda上了


if use_gpu:
net = net.cuda()
return net

net.cuda()

单GPU保存的checkpoints也要用单个GPU,需要将其注释掉

net = get_network(args)
#device_ids = [0,1,2]
#net = nn.DataParallel(net, device_ids=device_ids)

最后

以上就是直率盼望为你收集整理的关于checkpoints的问题的全部内容,希望文章能够帮你解决关于checkpoints的问题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(60)

评论列表共有 0 条评论

立即
投稿
返回
顶部