考虑到大家的使用场景差异很大,PaddleInference针对不同平台不同的应用场景进行了深度的适配优化,做到高吞吐、低时延,保证了飞桨模型在服务器端即训即用,快速部署。
在基于PaddleInference进行模型推理时,一般有以下几个步骤。
PaddleInference模型推理流程分别介绍文字检测、方向分类器和文字识别3个模型,基于PaddleInference的推理过程。
离线推理,即在特定机器上部署的代码只能在这台机器上使用,无法通过其他机器进行访问
“WHL”是“WHeeL”的英文缩写,意思是“车轮”,whl格式本质上是一个压缩包,里面包含了py文件,以及经过编译的pyd文件为了更加方便快速体验OCR文本检测与识别模型,PaddleOCR提供了基于PaddleInference预测引擎的whl包,方便您一键安装,体验PaddleOCR。
paddleocrwhl包会自动下载PP-OCRv2超轻量模型作为默认模型,也支持自定义模型路径、预测配置等参数,参数名称与基于PaddleInference的python预测中参数相同。
可以指定det=False,仅运行单独的识别模块。
importmatplotlib.pyplotaspltfrompaddleocrimportPaddleOCR,draw_ocrocr=PaddleOCR(use_gpu=False)#needtorunonlyoncetodownloadandloadmodelintomemoryimg_path='./images/006.jpg'result=ocr.ocr(img_path,det=False)forlineinresult:print(line)单独执行方向分类器可以指定det=False,rec=False,cls=True,仅运行方向分类器。
shapelyscikit-imageimgaugpyclipperlmdbtqdmnumpyvisualdlrapidfuzzopencv-python==4.6.0.66opencv-contrib-python==4.6.0.66cythonlxmlpremaileropenpyxlattrdictPolygon3lanms-neo==1.0.2PyMuPDF<1.21.0安装运行所需要的包
inference/ch_PP-OCRv3_det_infer├──[2.2M]inference.pdiparams#模型参数├──[23K]inference.pdiparams.info└──[845K]inference.pdmodel#模型结构如果您希望导出自己训练得到的模型,使用PaddleInference部署,那么可以使用下面的命令将预训练模型使用动转静的方法,转化为推理模型。
如果希望保存裁剪后的识别结果,可以将save_crop_res参数设置为True,最终结果保存在output目录下,其中部分裁剪后图像如下所示。保存的结果可以用于后续的识别模型标注与训练。