Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

训练模型转inference 模型之后预测效果不一致 #14469

Open
3 tasks done
zgy520 opened this issue Dec 30, 2024 · 3 comments
Open
3 tasks done

训练模型转inference 模型之后预测效果不一致 #14469

zgy520 opened this issue Dec 30, 2024 · 3 comments

Comments

@zgy520
Copy link

zgy520 commented Dec 30, 2024

🔎 Search before asking

  • I have searched the PaddleOCR Docs and found no similar bug report.
  • I have searched the PaddleOCR Issues and found no similar bug report.
  • I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

操作系统:
ubuntu 22.04
paddle的版本:
paddlepaddle-gpu3.0.x版本
使用的微调训练模型是:ch_PP-OCRv4_server_det,对应的配置文件为:[ch_PP-OCRv4_det_teacher.yml]
针对文本检测的微调后,基于训练后的模型(未进行训练模型转inference模型)进行指标评估时,效果不错;但是将检测模型转inference模型之后,再进行模型预测时,发现效果很差。
根据文本检测的FAQ提示,对inference模型进行了如下所示的修改:
image
对以上两行进行注释,重新导出了inference模型,再测试后,发现效果好了很多,但还是存在如下问题:

  1. inference模型与训练后为转之前的模型对比,发现有图片无法检测到文本,如下图:
    image
  2. 对于检测到的文本,通过与训练后的模型对比,发现坐标不一致,如下图所示
    image
    现在不确定这种坐标上的差异是否是正常的
  3. 基于训练后的模型,到处的结果图片上,在检测到的文本上是绘制了对应的文本框;而infernece模型的结果,对原图片未作修改,有坐标值的图片也未进行绘制。

🏃‍♂️ Environment (运行环境)

操作系统:
ubuntu 22.04
paddle的版本:
paddlepaddle-gpu3.0.x版本
使用的微调训练模型是:ch_PP-OCRv4_server_det,对应的配置文件为:[ch_PP-OCRv4_det_teacher.yml]

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

image
image

@jingsongliujing
Copy link
Collaborator

建议看一下转infernece以后图片预处理和后处理输入模型的大小,是否和训练的时候一致

@zgy520
Copy link
Author

zgy520 commented Jan 2, 2025

@jingsongliujing 您好,如何确定训练时以及转inference后图片预处理以及后处理输入的模型大小?代码片段在哪

@jingsongliujing
Copy link
Collaborator

建议你这边在预测的时候输出可视化图像看一下是否准确框出相关文本,坐标不一致的问题可能就是因为训练的时候是固定尺寸的图片输入的,而推理的时候,EastRandomCropData会resize到指定尺寸,在此基础上还会做裁剪,所以输出的坐标值可能不是你输入的原图值,具体你可以看
image

class EastRandomCropData(object):

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants