【AAAI 2024】M2Doc：文档版面分析的可插拔多模态融合方法

一、文章介绍

文档版面分析任务是文档智能的一个关键任务。然而，现有的很多文档版面分析研究方法都基于通用目标检测方法，忽视了文档的文本特征而仅仅只关注于视觉特征。近年来，基于预训练的文档智能模型在很多文档下游任务中都取得了成功，然而在具体的文档版面分析任务上同样也只是简单将预训练的参数迁移到纯视觉的目标检测器中进行 fintune。基于此，本文设计了可插拔的多模态融合方法 M2Doc，可以赋予纯视觉的目标检测器感受多模态的能力。M2Doc 包含两个融合模块，Early-Fusion 和 Late-Fusion 模块。其中 Early-Fusion 模块使用一个类似 Gate 的机制去融合主干网络提取出的视觉和文本的模态特征，Late-Fusion 模块使用简单的加和操作去融合框级别的文本和视觉特征。得益于 M2Doc 简洁且有效的模型结构，它可以很容易地应用到多种目标检测器上。我们的实验结果也显示使用 M2Doc 的目标检测器可以在 DocLayNet 和 M6Doc 版面分析数据集上得到显著的提升，值得一提的是 DINO 目标检测器搭配 M2Doc 可以在多个数据集上取得 SOTA 的结果。

二、出发点

• 版面分析任务与目标检测任务最大的不同在于它们面向的场景不同，版面分析任务的检测目标大多都是文本区域，也即天然就具有视觉和文本两个属性，故而使用多模态的建模方法去解决这个问题应该更符合任务的特点。

  
  

• 版面分析任务的多数实例都具有语义的连接关系，例如存在上下文联系的两个实例大概率属于同一个类别，故而将语义信息考虑到文档版面分析任务中应该是更符合直觉的建模方式。

• 现有的文档版面分析方法大多都是基于通用目标检测器改进的，它们在相对简单的物理版面分析数据集上能取得不错的成绩，但是在更复杂的逻辑版面分析场景中表现不佳。现有的多模态版面分析方法比较少，且也存在效果不好参数量过大等问题。

基于上述三点，本文为单模态的检测器设计了通用可插拔的多模态融合方法 M2Doc，从而赋予它们在复杂逻辑版面分析场景中能感知文本内容和语义的能力。

三、M2Doc 框架

M2Doc 的总体框架如图 3(a)所示。整个网络包含四个阶段：文本表征阶段、特征提取阶段、Early-Fusion 阶段和 Late-Fusion 阶段。其中两个融合模块都是可插拔的，可以轻松应用到其他的单模态目标检测器中。（1）文本 Grid 表征阶段：给定一张文档的图片，文档图片中包含多个单词，我们处理的场景都提供 OCR 结果和对应的检测框。为了能够得到每个单词对应的特征表示，我们将各个单词按阅读顺序排布之后送入到预训练语言模型 BERT 得到对应每个单词的 Embedding。然后我们利用 OCR 检测框，将每个单词的 Embedding 填回到其 OCR 框中。最终我们就得到了和原图像高宽一致，只是通道维度不同的文本 Grid 输入。这样的表征方式使得我们能够最大限度地保留了文本模态的版面格式，同时又使得两种模态的输入能够在像素级别上对齐，方便后面的特征融合。（2）特征提取阶段：因为在前面我们提到两种模态的输入其实在像素级别上是对齐的，于是我们仅使用单个主干网络去提取文本和视觉特征。我们使用 ResNet 网络作为我们的主干网络，经过主干网络之后我们得到了四个不同尺度的文本和视觉特征。（3）Early-Fusion 阶段：在传统的单模态网络中，主干网络提取出的特征需要被用来生成候选框，以及作为候选框的视觉特征表达，所以我们需要在得到候选框之前就将两个模态的特征进行有效的融合。我们参照了指代分割领域的 LAVT 的做法，使用一个类似于 Gate 的机制来融合两个模态对应尺度的特征。在融合之后，考虑到在第一个阶段中没有文本的地方表征为 0，于是我们使用 LayerNorm 去归一化融合后的特征。（4）Late-Fusion 阶段：我们把第一次融合后的特征送入到候选框生成模块之后，得到了一系列的候选框。于是我们可以用一个简单的 IoU 的操作为每个候选框分配合适的文本特征。并且将每个候选框对应的视觉和文本特征进行二次融合。我们发现其实一个简单的带权重的加法融合的策略就已经能够比较好的将两个特征进行融合。

四、实验

a) 主实验

• 从三个版面分析数据集的结果来看，Cascade Mask R-CNN 和 DINO 加上 M2Doc 在 DocLayNet、M6Doc 数据集上都取得了 SOTA 的结果，证明了其有效性。

• M2Doc 相比于原有 Baseline 取得了很大的提升，并且 VSR 作为唯一一个多模态方法，它依然在 DocLayNet 数据集上和我们的方法相差较大，证明了 M2Doc 作为一个可插拔方法的有效性。

• PubLayNet 是一个比较简单的物理版面分析数据集，并且只区分五个和文本内容关系不大的基本元素，所以一个好的单模态检测器就已经能够在此数据集就已经能够取得不错的效果。并且和我们对比的方法大多都是用更大的主干网络(ViT、X101 等)，我们也在主干网络不占优的情况下达到了一个 Comparable 的结果。

b) 可插拔实验

可以看到，无论是在两阶段还是端到端的检测器上，我们的方法都能够很好地提升它们在复杂版面分析数据集上的表现，证明了 M2Doc 优秀的泛化能力和可插拔能力。

c) 消融实验

五、总结与展望

总的来说，本文面向复杂逻辑版面分析场景提出了一个可插拔的多模态融合方法，很好地从多模态的视角出发，提升了现有的单模态目标检测器在版面分析任务上的表现。我们认为还有以下工作值得未来进行探索：

• 如何设计统一高效的多模态模型能够更好结合文档的视觉和文本特征是值得后续探索的。

• 针对 M2Doc，如何设计更有效的多模态融合策略也是值得进一步探索的。

• 现有的关于文档的密集文本的表征方式相当复杂，如何能够进一步简化得到文本特征的步骤也值得研究。

● 论文标题：

M2Doc: A Multi-modal Fusion Approach for Document Layout Analysis

● 论文作者：

张宁、郑晓怡、陈佳禹、江宗源、黄俊、薛洋、金连文