基于Transformer的图像重建模型MST++的TensorRT模型推断优化
我们主要采用2条主线优化该网络，和两种方式。基于对ONNXParser用Nsight进行Profiling,并最终确定了有针对性的优化方案，包括：针对于上述问题我们简化网络结构通过TensorRT API重新搭建了网络结构，实现了,,,和MST++的核心结构.针对于上述结构我们开发了一些Plugin同时借鉴已有的Plugin在TensorRT API通过合并算子引入,和.整体的优化过程如下图所示： 正在上传…重新上传取消我们分别对比了该模型在Pytorch(原训练框架)，onnxruntime,
