TensorRT Inference 加速原理
TensorRT加速原理简述
TensorRT对于网络结构进行了重构和优化，主要体现在以下几个方面：
(1) tensorRT通过解析网络模型将网络中无用的输出层消除以减小计算。
(2)是对于网络结构的垂直整合，即将目前主流神经网络的Conv、BN、Relu三个层融合为了一个层，例如将图1所示的常见的Inception结构重构为图2所示的网络结构。
(3)对于网络的水平组合，水平组合是指将输入为相同张量和执行相同操作的层融合一起，如图2向图3的转化。
(4)对于concat层，将contact层的输入直接送入下面的操作中，不用单独进行concat后在输入计算，相当于减少了一次传输吞吐。
转载自 https://blog.****.net/xh_hit/article/details/79769599