常用的表格检测识别方法——表格结构识别方法 (上）

第三章 常用的表格检测识别方法

3.2 表格结构识别方法

 表格结构识别是表格区域检测之后的任务，其目标是识别出表格的布局结构、层次结构等，将表格视觉信息转换成可重建表格的结构描述信息。这些表格结构描述信息包括：单元格的具体位置、单元格之间的关系、单元格的行列位置等。

在当前的研究中，表格结构信息主要包括以下两类描述形式：1）单元格的列表（包含每个单元格的位置、单元格 的行列信息、单元格的内容）；2）HTML 代码或 Latex 代码（包含单元格的位置信息，有些也会包含单元格的内容）。

 与表格区域检测任务类似，在早期的表格结构识别方法中，研究者们通常会根据数据集特点，设计启发式算法或者使用机器学习方法来完成表格结构识别任务。

Itonori（1993）根据表格中单元格的二维布局的 规律性，使用连通体分析抽取其中的文本块，然后 对每个文本块进行扩展对齐形成单元格，从而得到 每个单元格的物理坐标和行列位置。

Rahgozar 等人 （1994）则根据行列来进行表格结构的识别，其先 识别出图片中的文本块，然后按照文本块的位置以及两个单元格中间的空白区域做行的聚类和列的聚类，之后通过行和列的交叉得到每个单元格的位 置和表格的结构。

Hirayama 等人（1995）则从表格线出发，通过平行、垂直等几何分析得到表格的行和列，并使用动态规划匹配的方法对各个内容块进 行逻辑关系识别，来恢复表格的结构。

Zuyev（1997） 使用视觉特征进行表格的识别，使用行线和列线以及空白区域进行单元格分割。该算法已经应用到 FineReader OCR 产品之中。

Kieninger 等人（1998） 提出了 T-Recs（Table RECognition System）系统，以 词语区域的框作为输入，并通过聚类和列分解等启 发式方法，输出各个文本框对应的信息，恢复表格 的结构。随后，其又在此基础上提出了 T-Recs++系 统（Kieninger 等，2001），进一步提升了识别效果。

Amano 等人（2001）创新性地引入了文本的语义信息，首先将文档分解为一组框，并将它们半自动地 分为四种类型:空白、插入、指示和解释。然后根据 文档结构语法中定义的语义和几何知识，分析表示 框与其关联条目之间的框关系。

Wang 等人（2004） 将表格结构定义为一棵树，提出了一种基于优化方 法设计的表结构理解算法。该算法通过对训练集中 的几何分布进行学习来优化参数，得到表格的结构。 同样使用树结构定义表格结构的还有 Ishitani 等人 （2005）,其使用了 DOM（Document Object Model） 树来表示表格，从表格的输入图像中提取单元格特 征。然后对每个单元格进行分类，识别出不规则的 表格，并对其进行修改以形成规则的单元格排布。

Hassan（2007）、Shigarov（2016）等人则以 PDF 文档为表格识别的载体，从 PDF 文档中反解出表格视 觉信息。后者还提出了一种可配置的启发式方法框架。

国内的表格结构识别研究起步较晚，因此传统的启发式方法和机器学习方法较少。

在早期，Liu 等 人（1995）提出了表格框线模板方法，使用表格的 框架线构成框架模板，可以从拓扑上或几何上反映 表格的结构。然后提出相应的项遍历算法来定位和 标记表格中的项。之后 Li 等人（2012）使用 OCR 引擎抽取表单中的文本内容和文本位置，使用关键词 来定位表头，然后将表头信息和表的投影信息结合 起来，得到列分隔符和行分隔符来得到表格结构。

总体来说，表格结构识别的传统方法可以归纳为以下四种：基于行和列的分割与后处理，基于文本的检测、扩展与后处理，基于文本块的分类和后处理，以及几类方法的融合。

随着神经网络的兴起，研究人员开始将它们应用于文档布局分析任务中。后来，随着更复杂的架构的发展，更多的工作被放到表列和整体结构识别中。

  A Zucker 提出了一种有效的方法 CluSTi，是一种用于识别发票扫描图像中的表格结构的聚类方法。CluSTi 有三个贡献。首先，它使用了一种聚类方法来消除表格图片中的高噪声。其次，它使用最先进的文本识别技术来提取所有的文本框。最后，CluSTi 使用具有最优参数的水平和垂直聚类技术将文本框组织成正确的行和列。Z Zhang 提出的分割、嵌入和合并（SEM）是一个准确的表结构识别器。M Namysl 提出了一种通用的、模块化的表提取方法。

E Koci 提出了一种新的方法来识别电子表格中的表格，并在确定每个单元格的布局角色后构建布局区域。他们使用图形模型表示这些区域之间的空间相互关系。在此基础上，他们提出了删除和填充算法（RAC），这是一种基于一组精心选择的标准的表识别算法。

SA Siddiqui 利用可变形卷积网络的潜力,提出了一种独特的方法来分析文档图片中的表格模式。P Riba 提出了一种基于图的识别文档图片中的表格结构的技术。该方法也使用位置、上下文和内容类型，而不是原始内容（可识别的文本），因此它只是一种结构性感知技术，不依赖于语言或文本阅读的质量。E Koci 使用基于遗传的技术进行图划分，以识别与电子表中的表格匹配的图的部分。

SA Siddiqui 将结构识别问题描述为语义分割问题。为了分割行和列，作者采用了完全卷积网络。假设表结构的一致性的情况下，该方法引入了预测拼接方法，降低了表格结构识别的复杂性。作者从 ImageNet 导入预先训练的模型，并使用 FCN 编码器和解码器的结构模型。当给定图像时，模型创建与原始输入图像大小相同的特征。

SA Khan 提出了一个鲁棒的基于深度学习的解决方案，用于从文档图片中已识别的表格中提取行和列。表格图片经过预处理，然后使用门控递归单元（GRU）和具有 softmax 激活的全连接层发送到双向递归神经网络。SF Rashid 提供了一种新的基于学习的方法来识别不同文档图片中的表格内容。SR Qasim 提出了一种基于图网络的表识别架构，作为典型神经网络的替代方案。S Raja 提出了一种识别表格结构的方法，该方法结合了单元格检测和交互模块来定位单元格，并根据行和列预测它们与其他检测到的单元格的关系。此外，增加了结构限制的损失功能的单元格识别作为额外的差异组件。Y Deng 测试了现有的端到端表识别的问题，他还强调了在这一领域需要一个更大的数据集。

 Y Zou 的另一项研究呼吁开发一种利用全卷积网络的基于图像的表格结构识别技术。所示的工作将表格的行、列和单元格划分。所有表格组件的估计边界都通过连接组件分析进行了增强。根据行和列分隔符的位置，然后为每个单元格分配行和列号。此外，还利用特殊的算法优化单元格边界。

为了识别表中的行和列，KA Hashmi [118]提出了一种表结构识别的引导技术。根据本研究，通过使用锚点优化方法，可以更好地实现行和列的定位。在他们提出的工作中，使用掩模 R-CNN 和优化的锚点来检测行和列的边界。

另一项分割表格结构的努力是由 W Xue 撰写的 ReS2TIM 论文，它提出了从表格中对句法结构的重建。回归每个单元格的坐标是这个模型的主要目标。最初使用该新技术构建了一个可以识别表格中每个单元格的邻居的网络。本研究给出了一个基于距离的加权系统，这将有助于网络克服与训练相关的类不平衡问题。

C Tensmeyer 提出了 SPLERGE（Split and Merge），另一种使用扩展卷积的方法。他们的策略需要使用两种不同的深度学习模型，第一个模型建立了表的网格状布局，第二个模型决定了是否可能在许多行或列上进行进一步的单元格跨度。

Nassar 为表格结构提供了一个新的识别模型。在两个重要方面增强了 PubTabNet 端到端深度学习模型中最新的 encoder-dual-decoder。首先，作者提供了一种全新的表格单元目标检测解码器。这使得它们可以轻松地访问编程 pdf 中的表格单元格的内容，而不必训练任何专有的 OCR 解码器。作者称，这种体系结构的改进使表格内容的提取更加精确，并使它们能够使用非英语表。第二，基于 transformer 的解码器取代了 LSTM 解码器。

S Raja 提出了一种新的基于目标检测的深度模型，它被定制用于快速优化并捕获表格内单元格的自然对齐。即使使用精确的单元格检测，密集的表格识别也可能仍然存在问题，因为多行/列跨越单元格使得捕获远程行/列关系变得困难。因此，作者也寻求通过确定一个独特的直线的基于图的公式来增强结构识别。作者从语义的角度强调了表格中空单元格的相关性。作者建议修改一个很受欢迎的评估标准，以考虑到这些单元格。为了促进这个问题的新观点，然后提供一个中等大的进行了人类认知注释后的评估数据集。

X Shen 提出了两个模块，分别称为行聚合（RA）和列聚合（CA）。首先，作者应用了特征切片和平铺，对行和列进行粗略的预测，并解决高容错性的问题。其次，计算信道的 attention map，进一步获得行和列信息。为了完成行分割和列分割，作者利用 RA 和 CA 构建了一个语义分割网络，称为行和列聚合网络（RCANet）。

C Ma 提出了一种识别表格的结构并从各种不同的文档图片中检测其边界的新方法。作者建议使用 CornerNet 作为一种新的区域候选网络，为 fasterR-CNN 生成更高质量的候选表格，这大大提高了更快的 R-CNN 对表格识别的定位精度。该方法只利用最小的 ResNet-18 骨干网络。此外，作者提出了一种全新的 split-and-merge 方法来识别表格结构。该方法利用一种新的 spatial CNN 分离线预测模块将每个检测表格划分为一个单元网格，然后使用一个 GridCNN 单元合并模块来恢复生成单元格。它们的表格结构识别器可以准确地识别具有显著空白区域的表格和几何变形（甚至是弯曲的）表格，因为 spatial CNN 模块可以有效地向整个表图片传输上下文信息。B Xiao 假设一个复杂的表格结构可以用一个图来表示，其中顶点和边代表单个单元格以及它们之间的连接。然后，作者设计了一个 conditional attention 网络，并将表格结构识别问题描述为一个单元格关联分类问题（CATT-Net）。

Jain 建议训练一个深度网络来识别表格图片中包含的各种字符对之间的空间关系，以破译表格的结构。作者提供了一个名为 TSR-DSAW 的端到端 pipeline：TSR，通过深度空间的字符联系，它以像 HTML 这样的结构化格式生成表格图片的数字表示。该技术首先利用文本检测网络，如 CRAFT，来识别输入表图片中的每个字符。接下来，使用动态规划，创建字符配对。这些字符配对在每个单独的图像中加下划线，然后交给 DenseNet-121 分类器，该分类器被训练来识别同行、同列、同单元格或无单元格等空间相关性。最后，作者将后处理应用于分类器的输出，以生成 HTML 表格结构。

H Li 将这个问题表述为一个单元格关系提取的挑战，并提供了 T2，一种前沿的两阶段方法，成功地从数字保存的文本中提取表格结构。T2 提供了一个广泛的概念，即基本连接，准确地代表了单元格之间的直接关系。为了找到复杂的表格结构，它还构建了一个对齐图，并使用了一个消息传递网络。

实际场景应用中的表格结构识别，不仅要同时完成表格检测和结构识别，还要对每个单元格的文本进行识别和信息抽取，其流程比以上的研究领域都更为复杂。

参考文献：

Gao L C, Li Y B, Du L, Zhang X P, Zhu Z Y, Lu N, Jin L W, Huang Y S, Tang Z . 2022.A survey on table recognition technology. Journal of Image and Graphics, 27(6): 1898-1917.

M Kasem , A Abdallah, A Berendeyev，E Elkady , M Abdalla, M Mahmouda, M Hamada, D Nurseitovd, I Taj-Eddin.Deep learning for table detection and structure recognition: A survey.arXiv:2211.08469v1 [cs.CV] 15 Nov 2022

S A Siddiqui , M I Malik,S Agne , A Dengel and S Ahmed. DeCNT: Deep Deformable CNN for Table Detection. in IEEE Access, vol.6, pp.74151-74161, [DOI: 10.1109/ACCESS.2018.2880211]

T Shehzadi, K A Hashmi, D Stricker, M Liwicki , and M Z Afzal.Towards End-to-End Semi-Supervised Table Detection with Deformable Transformer.arXiv:2305.02769v2 [cs.CV] 7 May 2023