使用导出的ONNX模型通过TensorRT来推理时，输入Tensor的Dynamic Shape该设置为多少合适?

[pango99]

det模型: en_PP-OCRv3_det_infer.onnx
rec模型: en_PP-OCRv3_rec_infer.onnx

我们知道用TensorRT来队PPOCR的模型进行推理需要设置的输入Tensor(X)的Dynamic Shape,那这个Dynamic Shape该设置为多少合适?我的意思是det模型和rec模型的min/opt/max 三个shape参数要如何设置?谢谢!

[jingsongliujing]

可以参考：https://github.com/search?q=repo%3Ajingsongliujing%2FOnnxOCR%20shape&type=code

[GreatV]

在使用导出的ONNX模型通过TensorRT进行推理时，设置输入Tensor的动态形状（Dynamic Shape）是一个关键步骤，因为它直接影响推理的性能和适配性。对于PP-OCRv3的det模型和rec模型，Dynamic Shape的设置应根据实际应用场景中输入图像的大小范围来调整。以下是针对det模型和rec模型的建议设置：

---

1. det模型 (en_PP-OCRv3_det_infer.onnx)

det模型主要用于检测文本区域，输入图像的大小通常较大，因此需要设置较宽的动态范围。

• min_shape (最小形状):
  [1, 3, 50, 50]
  → 最小形状适用于处理非常小的图像，用于模型支持的最小输入。

• opt_shape (最佳形状):
  [1, 3, 640, 640]
  → 最佳形状设置为常见的输入大小，适用于大多数实际场景中的图片尺寸。

• max_shape (最大形状):
  [1, 3, 1280, 1280]
  → 最大形状设置为模型支持的最大输入，适用于较大分辨率图片。

---

2. rec模型 (en_PP-OCRv3_rec_infer.onnx)

rec模型用于识别文本内容，输入图像通常为文本区域的裁剪结果，因此宽高比可能会有较大变化。

• min_shape (最小形状):
  [1, 3, 32, 10]
  → 最小形状适用于非常短的文本裁剪区域。

• opt_shape (最佳形状):
  [1, 3, 32, 320]
  → 最佳形状是常见的文本裁剪区域大小，适用于场景中大多数文本长度。

• max_shape (最大形状):
  [1, 3, 32, 1024]
  → 最大形状设置为支持较长的文本区域（例如长句子）。

---

3. 其他注意事项

• TensorRT引擎构建时间:
  动态形状范围越大，TensorRT在构建引擎时的时间和显存消耗会增加。因此建议根据实际输入数据分布合理设置min/opt/max。

• 性能优化:
  opt_shape是优化的关键，因为TensorRT会对opt_shape进行最优优化。尽量将opt_shape设置为输入数据中最常见的形状。

• Batch Size:
  上述形状中Batch Size为1，如果需要支持批量推理，可以调整为更高的Batch Size（如[4, 3, H, W]）。

---

4. 总结

• 对于det模型：min: [1, 3, 50, 50], opt: [1, 3, 640, 640], max: [1, 3, 1280, 1280]
• 对于rec模型：min: [1, 3, 32, 10], opt: [1, 3, 32, 320], max: [1, 3, 32, 1024]

根据实际输入数据的分布调整这些参数，可以在性能和适配性之间找到平衡。

---

Response generated by feifei-bot | chatgpt-4o-latest