离线模型部署

[wangwenqi567]

Checklist:

• 查找历史相关issue寻求解答
• 翻阅FAQ
• 翻阅PaddleX 文档
• 确认bug是否在新版本里还未修复

描述问题

小白想请教一下，离线下载模型之后，create_model还是会从网址上下载模型，应该怎么解决

复现

1. 高性能推理

   • 您是否完全按照高性能推理文档教程跑通了流程？

   • 您使用的是离线激活方式还是在线激活方式？

2. 服务化部署

   • 您是否完全按照服务化部署文档教程跑通了流程？

   • 您在服务化部署中是否有使用高性能推理插件，如果是，您使用的是离线激活方式还是在线激活方式？

   • 如果是多语言调用的问题，请给出调用示例子。

3. 端侧部署

   • 您是否完全按照端侧部署文档教程跑通了流程？

   • 您使用的端侧设备是？对应的PaddlePaddle版本和PaddleLite版本分别是什么？

4. 您使用的模型和数据集是？

5. 请提供您出现的报错信息及相关log

环境

1. 请提供您使用的PaddlePaddle、PaddleX版本号、Python版本号

2. 请提供您使用的操作系统信息，如Linux/Windows/MacOS

3. 请问您使用的CUDA/cuDNN的版本号是？

[TingquanGao]

使用命令是什么？create_model如何调用的

[wangwenqi567]

使用命令是 paddlex --pipeline OCR --input page.png --device gpu:2
create_model是download.py代码里面会主动下载模型

[TingquanGao]

使用本地模型的话，需要修改产线配置文件。具体请参考文档：https://github.com/PaddlePaddle/PaddleX/blob/release/3.0-beta2/docs/pipeline_usage/tutorials/ocr_pipelines/OCR.md#221-%E5%91%BD%E4%BB%A4%E8%A1%8C%E6%96%B9%E5%BC%8F%E4%BD%93%E9%AA%8C

[wangwenqi567]

好的，谢谢，我去试试

[wangwenqi567]

想问一下我把模型都放到 /paddlex/official_inference_model/paddle3.0b2 这个文件夹下了，为什么还是报错
urllib3.exceptions.NewConnectionError: <urllib3.connection.VerifiedHTTPSConnection object at 0x7f5df6802410>: Failed to establish a new connection: [Errno 101] Network is unreachable
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='paddle-model-ecology.bj.bcebos.com', port=443): Max retries exceeded with url: /paddlex/official_inference_model/paddle3.0b2/PP-OCRv4_server_det_infer.tar (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x7f5df6802410>: Failed to establish a new connection: [Errno 101] Network is unreachable'))

[wangwenqi567]

模型也放到这个目录下了，但是就是会访问网址去下载模型

[wangwenqi567]

我是通过docker直接获取的PaddleX

[TingquanGao]

只把模型放到对应目录是不行的。需要：

1. 获取产线配置文件：paddlex --get_pipeline_config OCR
2. 修改配置文件OCR.yaml中的Pipeline.text_det_model字段和Pipeline.text_rec_model字段，将其修改为下载的本地模型文件夹路径./PP-OCRv4_server_det和./PP-OCRv4_server_rec。
3. 使用配置文件运行产线： paddlex --pipeline ./OCR.yaml --input page.png --device gpu:2

[wangwenqi567]

特别感谢你的回复和建议，我再去尝试一下

[cmx4869]

只把模型放到对应目录是不行的。需要：

1. 获取产线配置文件：paddlex --get_pipeline_config OCR
2. 修改配置文件OCR.yaml中的Pipeline.text_det_model字段和Pipeline.text_rec_model字段，将其修改为下载的本地模型文件夹路径./PP-OCRv4_server_det和./PP-OCRv4_server_rec。
3. 使用配置文件运行产线： paddlex --pipeline ./OCR.yaml --input page.png --device gpu:2

我也是docker,按照您这个方法去做了，新的yaml配置文件和本地模型都确认修改正确，但是执行
paddlex --pipeline /root/PaddleX/paddlex/paddle_model_yaml/OCR.yaml --input paddle/docker/1.png --device gpu:0 --save_path /paddle
后报错
FileNotFoundError: [Errno 2] No such file or directory: '/root/PaddleX/paddlex/paddle_model_yaml/PP-OCRv4_mobile_rec/inference.yml'

我也单独提了issue#2736
能劳烦您看看吗

[cmx4869]

只把模型放到对应目录是不行的。需要：

1. 获取产线配置文件：paddlex --get_pipeline_config OCR
2. 修改配置文件OCR.yaml中的Pipeline.text_det_model字段和Pipeline.text_rec_model字段，将其修改为下载的本地模型文件夹路径./PP-OCRv4_server_det和./PP-OCRv4_server_rec。
3. 使用配置文件运行产线： paddlex --pipeline ./OCR.yaml --input page.png --device gpu:2

直接用您的方法，会报错配置文件不存在，几种路径都试了
Exception: The pipeline (./OCR.yaml) does not exist! Please use a pipeline name or a config file path!
λ root123 ~/PaddleX/paddlex

λ root123 ~/PaddleX/paddlex/inference/pipelines paddlex --pipeline ./OCR.yaml --input paddle/docker/1.png --device gpu:0