MMDetection2.17-权重模型转推理模型(pth转onnx)详细步骤及前向推理(Win10、Linux均适用)

权重模型转推理模型的意义？

• 方便部署：转为onnx格式的模型后，就可以不需要依赖mmdetection框架部署模型，同时也作为tensorRT格式的过渡模型。
• 减少开销：onnx格式的模型占用GPU内存更小，更为精简，相比原始权重模型实际大小几乎仅为一半。（轻微的掉点可忽略不计）
• 确保GPU可以加载：在做一些特定任务时，我们需要部署如 ResNet101+Cascade RCNN等较大的模型。在低劣的显卡如750Ti等是加载不了的(会导致显存爆炸)，而转换后的onnx模型在不同性能GPU上均可以部署，且均可以充分利用显存达到最大的FPS（这与onnx的机制有关）。

换后的ONNX模型注意要点：

• 转换后的ONNX模型可以在GPU或CPU上推理，考虑到CPU上太慢，这里我们以GPU推理为例，其依赖为：onnx1.7.0、onnxruntime-gpu 1.8.0或1.10.0、cuda 11.1、cudn 8.0。（缺一不可）</

版权声明：本文为CSDN博主「@会飞的毛毛虫」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_42308217/article/details/122170112