概述
FP32转FP16能否加速libtorch调用
pytorchlibtorchFP16
###1. PYTORCH 采用FP16后的速度提升问题
pytorch可以使用half()函数将模型由FP32迅速简洁的转换成FP16.但FP16速度是否提升还依赖于GPU。以下面的代码为例，
import time
import torch
from torch.autograd import Variable
import torchvision.models as models
import torch.backends.cudnn as cudnn
cudnn.benchmark = True
net = models.resnet18().cuda()
inp = torch.randn(64, 3, 224, 224).cuda()
for i in range(5):
net.zero_grad()
out = net.forward(Variable(inp, requires_grad=True))
loss = out.sum()
loss.backward()
torch.cuda.synchronize()
start=time.time()
for i in range(100):
net.zero_grad()
out = net.forward(Variable(inp, requires_grad=True))
loss = out.sum()
loss.backward()
torch.cuda.synchronize()
end=t
最后
以上就是要减肥棉花糖为你收集整理的C语言fp32转为fp16的代码,FP32转FP16能否加速libtorch调用的全部内容，希望文章能够帮你解决C语言fp32转为fp16的代码,FP32转FP16能否加速libtorch调用所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复