关于单与多GPU的checkpoints的问题
经过验证,多GPU训练并保存的checkpoints与单GPU checkpoints有区别
验证用四个gpu【0,1,2,3】训练的模型可以用【0,1,2】三个gpu来test,也可以用【0,1,2,3,5】五个gpu,甚至可以用【0】单个gpu来验证,需要将代码设置为以下:
net = get_network(args)
device_ids = [0,1,2]
net = nn.DataParallel(net, device_ids=device_ids)
其他地方无需改动,net在get_network已经放到cuda上了
if use_gpu:
net = net.cuda()
return net
net.cuda()
单GPU保存的checkpoints也要用单个GPU,需要将其注释掉
net = get_network(args)
#device_ids = [0,1,2]
#net = nn.DataParallel(net, device_ids=device_ids)
最后
以上就是直率盼望最近收集整理的关于关于checkpoints的问题的全部内容,更多相关关于checkpoints内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复