概述
欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享
大家好，我是极智视界，本文讲解一下 TensorRT 显式batch 和 隐式batch。
TensorRT 支持使用两种方式来指定网络的 Layout，即：explicit batch 和 implicit batch。所谓 显式 和 隐式 的差别就在于 Batch 这一维，即 显式 ==> NCHW，隐式 ==> CHW。在比较老版本的 TensorRT 中一般就用 implicit batch 隐式batch，而现在新的开始慢慢用 explicit batch 进行替代。这是为啥呢？这主要是因为，随着算法的不断发展，网络中新出现了很多新算子、新结构，有些时候需要 操控 batch 这个维度，这个时候如果使用 隐式batch 来开发，显然是不可行的。
隐式batch 模式不能胜任的场景主要包括：
- Reducing across the batch dimension ==> batch 维度上的规约操作，如 [N, C, H, W] -> [1, C, H, W]；
- Reshaping the batch dimension ==> batch 维度上的变化，如 [N, C, H, W] -> [M, C, H, W]；
- Transposing the batch dimension with
最后
以上就是体贴小松鼠为你收集整理的极智AI | 讲解 TensorRT 显式batch 和 隐式batch的全部内容，希望文章能够帮你解决极智AI | 讲解 TensorRT 显式batch 和 隐式batch所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复