概述
关于单与多GPU的checkpoints的问题
经过验证,多GPU训练并保存的checkpoints与单GPU checkpoints有区别
验证用四个gpu【0,1,2,3】训练的模型可以用【0,1,2】三个gpu来test,也可以用【0,1,2,3,5】五个gpu,甚至可以用【0】单个gpu来验证,需要将代码设置为以下:
net = get_network(args)
device_ids = [0,1,2]
net = nn.DataParallel(net, device_ids=device_ids)
其他地方无需改动,net在get_network已经放到cuda上了
if use_gpu:
net = net.cuda()
return net
net.cuda()
单GPU保存的checkpoints也要用单个GPU,需要将其注释掉
net = get_network(args)
#device_ids = [0,1,2]
#net = nn.DataParallel(net, device_ids=device_ids)
最后
以上就是直率盼望为你收集整理的关于checkpoints的问题的全部内容,希望文章能够帮你解决关于checkpoints的问题所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复