Top Trending Libraries of 2021，PaddleOCR 再开源 8 大前沿顶会论文模型！

2022 年 3 月 19 日
本文字数：2619 字
阅读完需：约 9 分钟

简介

熟悉深度学习的开发者对 Papers with Code 肯定不陌生，作为全球领先的开源机器学习资源平台，集成论文、代码、数据集等全方位资料。

每年 Papers with Code 都会和 Medium（基于主题的高质量媒体平台）共同评选出十大年度趋势论文和仓库。在 2021 年，PaddleOCR 通过 PP-OCRv2、PP-Structure、多语言模型、《动手学 OCR·十讲》等一系列重磅更新，上榜 Top Trending Libraries of 2021！

详细链接查看：

https://medium.com/paperswithcode/papers-with-code-2021-a-year-in-review-de75d5a77b8b

近期，PaddleOCR 团队梳理了近年来 AAAI、CVPR、ACM 等顶会的 OCR 方向重要论文，将数月的实验尝试一并放出，一次性新增 8 种 OCR 前沿算法（检测 1 种，识别 3 种，关键信息提取 1 种，视觉问答 3 种）。在 Papers with Code 中 Browse State-of-the-Art 的 Optical Character Recognition（文字识别）任务下，PaddleOCR 也成为覆盖论文算法最多，Star 排名第一（已经接近 20000）的 Github 仓库！

详细链接查看：

https://paperswithcode.com/task/optical-character-recognition

本次更新覆盖了检测、识别、关键信息抽取、视觉问答 4 个方向，满足 OCR 在各个场景中的应用，是一次对模型库的全面升级！具体算法包括：

检测：PSENet[1]
识别：NRTR[2]、SEED[3]、SAR[4]
关键信息提取模型：SDMG-R[5]
文档视觉问答模型(DocVQA)：LayoutLM[6]、LayoutLMv2[7]、LayoutXLM[8]

PaddleOCR 模型全景图，白线虚线框为本次新增

下面我们就一起来看看这些模型的特色与使用场景吧！

算法介绍

丰富的检测识别模型库

本次检测识别模型的更新十分丰富，识别模型包括引入 2D-Attention 对不规则文本进行定位的 SAR、可插拔的语义模块的 SEED、基于 Transformer 的 NRTR，以及基于渐进式扩展算法的检测模型 PSENet，其中：

文本识别模型：SAR

论文题目：

Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition
作者：Hui Li, Peng Wang 等·发表会议：AAAI 2019
特色：针对不规则文本场景提出了 2D attention 模块对文本中的字符进行定位，不需要字符级别的标注，没有采用基于修正的策略，简化训练流程。有效提升了不规则文本的识别精度。
适用场景：在垂类场景中有部分弯曲文本的数据

SAR 效果图

文本识别模型：SEED

论文题目：

SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition
作者：Zhi Qiao, Yu Zhou 等·发表会议：CVPR 2020
特色：核心的亮点是可插拔的语义模块。在模型训练过程中结合了语义信息去引导解码过程。并且该模块可在预测阶段去除掉，完全不影响预测速度和效率。在低质量的图片场景下有不错的提升效果。
适用场景：遮挡、模糊图片较多的垂类场景，利用语义信息进行词汇矫正

SEED 效果图

文本识别模型：NRTR

论文题目：

NRTR: A No-Recurrence Sequence-to-Sequence Model For Scene Text Recognition
作者：Fenfen Sheng, Zhineng Chen 等·发表会议：ICDAR 2019
特色：通过完整的 Transformer 结构对输入图片进行编码和解码，只使用了简单的几个卷积层做高层特征提取，在文本识别上验证了 Transformer 结构的有效性。
适用场景：需要利用 Transformer 结构的 OCR 场景

NRTR 结构图

文本检测模型：PSENet

论文题目：

Shape Robust Text Detection with Progressive Scale Expansion Network
作者：Wenhai Wang, Enze Xie 等·发表会议：CVPR 2019
特色：其提出的渐进式扩展算法通过从最小 kernel 逐步扩张到最大 kernel，解决了分割算法对弯曲粘连文本的检测问题。
适用场景：各类规则和弯曲文本的检测场景

PSENet 效果图

PP-Structure 增加视觉文档问答能力

通用 OCR 能力提取了图片中的文字位置和文本内容，但有时除文本信息以外，我们还想了解文本框的类别、文本框之间的关系，这就转化为关键信息提取以及视觉文档问答任务。

关键信息提取即判断识别到的文本属于哪个类，例如对于一张身份证图片，模型不仅可以输出“张朋朋”的文本，也能将其分类为 ”姓名”。

视觉文档问答（DocVQA）主要针对文档图像的文字内容提出问题，例如一张身份证图片，问“公民身份号码是什么？”答案即为图片上的身份证号码。

DocVQA 的具体实现方法通过 SER(Semantic Entity Recognition，语义实体识别)与 RE (Relation Extraction，关系抽取)两个子任务实现。通过 SER 将每个检测到的文本框分类为姓名、身份证号等，通过 RE 对每一个检测到的文本框分类为问题或答案。

SER 与 RE 任务示例图

本次更新覆盖一个关键信息提取模型 SDMG-R，以及三个视觉文档问答模型 LayoutLM、LayoutLMv2、LayoutXLM，分别来看：

关键信息提取模型：SDMG-R

论文题目：

Spatial Dual-Modality GraphReasoning for Key Information Extraction
作者：Hongbin Sun, Zhanghui Kuang 等
特色：提出了一种多模态图推理网络，同时使用文本特征、文本框特征以及文本框间的空间位置关系解决关键信息提取问题。SDMG-R 相比较以往算法具有强大的鲁棒性和泛化性，适合实际生产使用。
适用场景：关键信息提取和分类

SDMG-R 效果图

DocVQA：LayoutLM 系列

论文题目：

LayoutLM: Pre-training of Text and Layout for Document Image Understanding
作者： Yiheng Xu, Minghao Li 等·发表会议：ACM 2020
特色：LayoutLM 利用文本分布的板式信息和识别到的文字信息，基于 bert 进行大规模预训练，然后在 SER 和 RE 任务进行微调；LayoutLMv2 在 LayoutLM 的基础上，将图像视觉信息引入预训练阶段，对多模态信息进行更好的融合；LayoutXLM 将 LayoutLMv2 扩展到多语言。
适用场景：针对卡证、票据等场景的信息提取、关系抽取、文档视觉问答任务

LayoutLMv2 结构图

如何使用

对于上述模型的使用方法可以在 Github 首页文档中 PP-Structure 信息提取（DocVQA、关键信息抽取）与 OCR 学术圈（检测算法、识别算法）找到，模型训练微调同步支持。

而且对于这些模型的垂类数据训练、推理任务已经出现在社区常规赛。大家如果想对这些模型进一步加深理解与实践，参与社区常规赛的“学术前沿模型训练与推理”，不仅可以获得比赛的积分与奖励，优秀项目还可以获得开发者说直播、宣传推广的机会。

不忘初心

感谢广大开发者的支持

我们深知学术研究不易，PaddleOCR 本次开源出的前沿学术模型，希望能够为 OCR 研究者提供方便的 Baseline，同时还能结合飞桨面向产业落地的特质，快速将优秀的学术模型应用在生产生活中。我们也非常高兴的看到 PP-OCR 系列模型能够在各行各业的众多垂类场景中发光发热，帮助更多的企业开发者实现业务落地。也特别感谢广大开发者积极参与到 PaddleOCR 的项目建设中来，感谢大家！