吊打一切现有开源OCR项目!PP

最近,由PaddleOCR原创团队,针对PP-OCR进行了一些经验性改进,构建了一种新的OCR系统,称为PP-OCRv2。

从算法改进思路上看,主要有五个方面的改进:

从效果上看,主要有三个方面提升:

GitHub项目:

PaddleOCR

历史表现回顾

开源能力速览

(1)通用文本检测识别效果:支持通用场景下的OCR文本快速检测识别

(2)文本合成工具Style-Text效果:相比于传统的数据合成算法,Style-Text可以实现特殊背景下的图片风格迁移,只需要少许目标场景图像,就可以合成大量数据,效果展示如下:

(3)半自动标注工具PPOCRLabel:通过内置高质量的PP-OCR中英文超轻量预训练模型,可以实现OCR数据的高效标注。CPU机器运行也是完全没问题的。用法也是非常的简单,标注效率提升60%-80%是妥妥的,效果演示如下:

(4)文档结构分析+表格提取PP-Structure:可以对文档图片中的文本、表格、图片、标题与列表区域进行分类,还可以利用表格识别技术完整地提取表格结构信息,使得表格图片变为可编辑的Excel文件。

(5)核心能力全部可以自定义训练,动静统一的开发体验

动态图和静态图是深度学习框架常用的两种模式。在动态图模式下,代码编写运行方式符合Python程序员的习惯,易于调试,但在性能方面,Python执行开销较大,与C++有一定差距。相比动态图,静态图在部署方面更具有性能的优势。静态图程序在编译执行时,预先搭建好的神经网络可以脱离Python依赖,在C++端被重新解析执行,而且拥有整体网络结构也能进行一些网络结构的优化。

PaddleOCR依赖飞桨核心框架动静统一的能力,支持用户使用动态图编写组网代码。预测部署时,飞桨会对用户代码进行分析,自动转换为静态图网络结构,兼顾了动态图易用性和静态图部署性能两方面优势。

传送门:

那么最近的2021年9月份更新,PaddleOCR又给大家带来哪些惊喜呢?

PP-OCRv2

五大关键技术点深入解读

全新升级的PP-OCRv2版本,整体的框架图保持了与PP-OCR相同的Pipeline,如下图所示。

(1)检测模型优化:采用CML(CollaborativeMutualLearning)协同互学习知识蒸馏策略。

如上图所示,CML的核心思想结合了①传统的Teacher指导Student的标准蒸馏与②Students网络直接的DML互学习,可以让Students网络互学习的同时,Teacher网络予以指导。对应的,精心设计关键的三个Loss损失函数:GTLoss、DMLLoss和DistillLoss,在Teacher网络Backbone为ResNet18的条件下,对Student的MobileNetV3起到了良好的提升效果。

(2)检测模型优化:CopyPaste数据增广策略

数据增广是提升模型泛化能力重要的手段之一,CopyPaste是一种新颖的数据增强技巧,已经在目标检测和实例分割任务中验证了有效性。利用CopyPaste,可以合成文本实例来平衡训练图像中的正负样本之间的比例。相比而言,传统图像旋转、随机翻转和随机裁剪是无法做到的。

CopyPaste主要步骤包括:

这样,就比较好的提升了样本丰富度,同时也增加了模型对环境鲁棒性。

经过以上两个检测方向的优化策略,PP-OCRv2检测部分的实验效果如下:

这里,PP-OCRv2的研发团队提出了一种基于MobileNetV1改进的新的骨干网络LCNet,主要的改动包括:

①除SE模块,网络中所有的relu替换为h-swish,精度提升1%-2%

②LCNet第五阶段,DW的kernelsize变为5x5,精度提升0.5%-1%

③LCNet第五阶段的最后两个DepthSepConvblock添加SE模块,精度提升0.5%-1%

④GAP后添加1280维的FC层,增加特征表达能力,精度提升2%-3%

在标准的DML知识蒸馏的基础上,新增引入了对于FeatureMap的监督机制,新增FeatureLoss,增加迭代次数,在Head部分增加额外的FC网络,最终加快蒸馏的速度同时提升效果。

考虑到中文OCR任务经常遇到的识别难点是相似字符数太多,容易误识,借鉴MetricLearning的想法,引入CenterLoss,进一步增大类间距离,核心思路如上图公式所示。

经过以上五个方向的优化,最终PP-OCRv2仅以少量模型大小增加的代价,全面超越PP-OCR,取得了良好的效果。

良心出品

中英文文档教程

随着本次PP-OCRv2升级,PaddleOCR的项目文档也全面升级,结构更清晰,内容更丰富。

别的不需要多说了,大家访问GitHub点过star之后自己体验吧:

9月8日晚20:15-21:30,百度高级研发工程师将为我们详细解析速度与精度都大幅提升的PaddleOCR,欢迎大家扫码报名直播课,加入技术交流群~

THE END
1.盘点适合入门学习的C/C++开源项目c++项目项目简介: 是的,你没有看错,这个项目的名字就是单个字母C。C是一个宝藏项目,可以说是学习数据结构和刷算法题的利器,因为里面包含了几乎各种基础算法、数据结构、以及LeetCode算法题的C语言实现。具体包括: 客户端/服务器问题 统计方法问题 进制转换问题 https://blog.csdn.net/zhizhengguan/article/details/107056943
2.蚂蚁宣布开源代码大模型CodeFuse项目蚂蚁宣布开源代码大模型CodeFuse项目 CodeFuse是蚂蚁集团自研的代码生成专属大模型,能够根据开发者的输入提供智能建议和实时支持,帮助开发者自动生成代码、自动增加注释、自动生成测试用例、修复和优化代码等,以提升研发效率。 CodeFuse基于蚂蚁基础大模型研发,在近期的代码补全评测中,CodeFuse的得分达到了74.4%,超过了GPT-https://ipkd.cn/webs_13345.html
3.11个开源免费Web代码编辑器4.Code Server https://github.com/coder/code-server Code-Server是一个支持在浏览器中运行VS Code的开源项目,能够在任何设备上提供一致的开发环境。它还支持使用云服务器以获得更快的执行效率,并为移动的用户保留电池寿命。 5.Tabby https://github.com/TabbyML/tabby https://www.51cto.com/article/781697.html
4.公司网站制作安装并运行codeserver安装并运行code-server。code-server是由Coder技术公司基于VS Code开源项目开发的Web版VS Code。类似的有Eclipse Theia,但是code-server的知名度更高。在服务器中安装好code-server,主要通过浏览器使用,与微软提供的VS Codespaces功能基本一致。下载或更新镜像,执行以下命令。docker pull codercom/code-server在服务器中http://www.zhenfumall.com/news/html/20585.html
5.java学习就去这69个网站论坛(附各种java学习公众35)CodeProject - For those who code https://www.codeproject.com/ 36)Open Source Software in Java http://java-source.net/ 37)SourceForge - Download, Develop and Publish Free Open Source Software https://sourceforge.net/ 38)开源中国 - 找到您想要的开源项目,分享和交流 https://www.douban.com/note/668223936/
6.Github优秀开源项目大全在互联网飞速发展的今天,相信很多程序开发者对 GitHub 很熟悉,我们在这里学习知识、分享自己的开源库或者开源代码、寻找良好的框架或解决方案和帮助其他开发者答疑解惑。 既然我们在 GitHub 上做了这么多事情,我们就来思索一下,在 GitHub 上有哪些值得关注学习的开源项目呢? https://www.jianshu.com/p/3609e9a1910c
7.termuxcodeserver:面向新手的文档,基于termux安装codelaoyu/termux-code-server 代码Issues0Pull Requests0Wiki统计流水线 服务 加入Gitee 与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :) 免费加入 已有帐号?立即登录 master 分支(1) 标签(1) 管理 管理 master 4.21.1 克隆/下载 https://gitee.com/wlaoyu/termux-code-server
8.codeserver详细安装code-server2.1650-vsc1.39.2-linux-x86_64.tar.gz。下载完成之后解压即可: 2、运行 输入指令./code-server--help,即可查看相关指令:直接输入指令./code-server即可启动codeserver: 这里监听的前言 因项目需要,需要一个在线的ide,用来查看、修改、部署代码,几番搜索、对比之后选择code-server这个在线ide,其githhttps://www.pianshen.com/article/49381619342/
9.Compare,Download&DevelopOpenSource&BusinessSoftware8,953Code Commits Compare & Review Business Software SourceForge is a complete business software and services comparison platform where buyers find, compare, & review business software and IT services. Selling software? You're in the right place. We'll help you reach millions of intent-driven sohttps://sourceforge.net/
10.项目·探索·CODECHINACODE CHINA——开源代码托管平台,独立第三方开源社区,Git/Github/Gitlabhttps://www.codechina.net/
11.FileZillaFileZilla - The free FTP solution for both client and server. Filezilla is open source software distributed free of charge.https://filezilla-project.org/
12.GitHubREADME Code of conduct MIT license Security Visual Studio Code - Open Source ("Code - OSS") The Repository This repository ("Code - OSS") is where we (Microsoft) develop the Visual Studio Code product together with the community. Not only do we work on code and issues here, we also https://github.com/Microsoft/vscode
13.codeserver.zip码农集市源码下载平台codeserver是一个开源项目,它允许用户在浏览器中运行Visual Studio Code(VS Code)。通过codeserver,用户可以在任何设备上使用浏览器访问VS Code的功能,无需在本地安装VS Code。这为用户提供了更大的灵活性和便利性。codeserver的工作原理是将VS Code的服务器端运行在云端或本地服务器上,用户通过浏览器访问该服务器https://code.coder100.com/index/index/content/id/57566
14.容器Docker部署网页版vscode(codeserver)什么是 code-server code-server 是一个基于 Visual Studio Code 的开源项目,它允许你通过 Web 浏览器来使用 Visual Studio Code 的编辑功能。这意味着你可以在任何设备上,只要有浏览器和网络连接,就可以访问和使用 Visual Studio Code,而无需在本地安装开发环境。 https://www.51969.com/post/19176928.html
15.搭建codeserver实现随时随地coding天翼云开发者社区coder.com 提供了一个在浏览器里面"运行"vscode的一个开源方案--code-server,本文将介绍如何使用code-server搭建开发环境实现随时随地进行编码。 环境准备 为了部署code-server应用,需要在购买如下云上资源: 下载code-server code-server在github上开源,下载最新的发行版本 github.com/coder/code-server/releases https://www.ctyun.cn/developer/article/469108934066245
16.把VSCode带到安卓install_vs_code start_vs_code bash } RuntimeEnvir.usrPath 是 /data/data/$package/files/usr/bin 安装完整 Linux 和 code-server 这个我从好几个方案进行了筛选,起初用的 atlio 这个开源,整个开源依赖python,并且有一个requirement.txt,需要执行python -r requirement.txt,依赖就是一大堆,后来换了proot-dihttps://juejin.cn/post/7032548034638675982
17.项目·探索·GitCode开源软件推进联盟 6 项目 Apache RocketMQ 1 项目 GitCode 精选项目 综合JavaC++PythonJavascriptPHPRubyKotlinGoRUSTVUESwift GitCode 新秀项目我要推荐项目 更多 eolinker/eolinker-api-test-plugin Star52 Eolinker API测试增强插件,需要搭配www.eolinker.com网站使用,支持Chrome以及Firefox浏览器,支持自动化测试、文件测https://about.gitcode.net/
18.如何把VSCode安装到Android手机里(vscode下载安装教程)3、全局安装code-server VS Code安装到Android手机 https://link.juejin.cn/?target=https://dev.to/iarchitsharma/how-to-install-vs-code-in-an-android-phone-cbh Code-server开源项目 https://link.juejin.cn/?target=https://github.com/cdr/code-serverhttp://www.51yz.com.cn/60126.html
19.利用docker搭建VScode腾讯云开发者社区建立项目文件夹 代码语言:html 复制 mkdir -p /home/coder/project 用docker拉取镜像 代码语言:html 复制 docker run -it -p 80:8080 --name code -v "/home/coder/project:/home/coder/project" codercom/code-server:latest 端口可以看自己需要调整 https://cloud.tencent.com/developer/article/2095870
20.im收费项目非常便宜,野火独有的试用模式,可以先部署到客户环境试用6个月,试用满意后再购买,避免上当受骗。 技术支持专业高效,核心研发及时处理issue和工单,能最快解决用户的技术难题。技术支持不收费,让客户顺利使用是我们最大的愿望。 野火开源项目 主要包括以下项目: https://toscode.mulanos.cn/wfchat/im-server
21.CodeServer部署,搭建在线WebIDE荒湮雾海1 # 下载code-server-3.8.0-linux-amd64.tar.gz安装包 原始地址下载慢 采用镜像站点下载| 或下载后通过SFTP上传到服务器 2 #curl -LJO https://github.com/cdr/code-server/releases/download/v3.https://www.cnblogs.com/ecouter/p/14177082.html
22.文章SAST(静态应用程序安全测试&代码审计)方案调研本次调研测试,对四个开源项目(两个Java,两个PHP)进行扫描,分别为DVWA、Mutillidae、java-sec-code、OWASP Benchmark。其中OWASP Benchmark是OWASP组织下的一个开源项目,又叫作OWASP基准测试项目,它是免费且开放的测试套件。它可以用来评估那些自动化安全扫描工具的速度、覆盖范围和准确性,这样就可以得到这些软件的优点https://xz.aliyun.com/t/10216
23.兼容VSCode插件!阿里&蚂蚁联合开源国内首个强定制IDE研发框架在准备开源时,考虑到 KAITIAN(开天)这个名称在国内外已经被大量公司进行了商标注册,为了避免后续由于名称引发一系列侵权问题,内部反复讨论后改成了 OpenSumi 这个新名称。 对于IDE 研发,市?上早就已经有 code-server、Theia 等现成的开源?案,为什么当初还要选择?研实现一套新框架?一方面,随着阿里及蚂蚁集团https://weibo.com/ttarticle/p/show?id=2309404787078021120013