唠叨香菇

文章
6
资源
0
加入时间
4年0月3天

【tensorrt】——trtexec动态batch支持与batch推理耗时评测

tensorrt, batch1. trtexec编译trtexec地址参考官方的说明,进行项目编译2. 模型转换pytorch->onnx的时候,需要在动态尺寸上定义好,例如:dynamic_axes = { 'input': {0: 'batch_size'}, # }torch.onnx.export(model, # model being run x, # model input (or a tuple for mu.