2023 第十二届中国智能产业高峰论坛 - 文档大模型的未来展望

前言

在 2023 年的第十二届中国智能产业高峰论坛上，合合信息副总经理和高级工程师丁凯博士为我们带来了一场精彩的演讲，分享了关于文档大模型的最新研究成果以及对未来的展望。

合合信息是一家领先的人工智能和大数据科技企业，以其创新的智能文字识别和商业大数据解决方案而闻名。本文将介绍丁凯博士在大会上的演讲内容，涵盖了文档图像分析、识别、以及大模型在这一领域的应用和挑战。

让我们一起深入了解，探索文档大模型的未来前景，以及合合信息在推动智能产业发展方面的独特贡献。

文档图像分析识别与理解中的技术挑战

• 场景及样式多样性：文档的多样化形状和光照条件增加了图像分析的复杂性，因为每个文档可能都有不同的特点。

• 采集设备不确定性：文档可以从多种设备上采集，包括摄像头、扫描仪、工业机器人和智能机器人。这需要适应不同输入源的算法和处理。

• 用户需求多样性：不同用户对文档图像识别的需求不同。例如，在金融领域，需要高精度的票据识别，而在教育、档案管理和办公领域，需要更注重可理解性和结构化的文档处理。

• 文档图像质量退化：文档图像可能会因多种原因而质量下降，包括噪音、模糊和失真。处理这些问题需要强大的图像预处理技术。

• 文字检测及版面分析：检测文档中的文字和分析版面结构是复杂的任务，涉及到视觉对象检测和解析。

• 非限定条件文字识别：在非受限条件下，例如手写文本或不规则排版的文档，文字识别的准确率较低。这需要更加灵活的模型和算法。

• 结构化智能理解：理解文档中的结构和内容需要高度智能化的处理，包括语义理解和信息抽取。

文档图像分析识别与理解的研究主题

为了解决上述技术难题，研究人员在文档图像分析识别与理解领域开展了广泛的研究，主要包括以下主题：

文档图像分析与预处理

• 切边增强

• 去摩尔纹

• 弯曲矫正

• 图片压缩

• PS 检测

• ...

文档解析与识别

• 文字识别

• 表格识别

• 电子档解析

• ...

版面分析与还原

• 元素检测

• 元素识别

• 版面还原

文档信息抽取与理解

• 信息抽取

• Question-answer

AI 安全

• 篡改分类

• 篡改检测

• 合成检测

• AI 生成检测

知识化 &存储检索和管理

• 实体关系

• 文档主题

• ERP/OA

• SAP

多模态大模型在文档图像处理中的应用

• GPT-4：多模态大模型如 GPT-4 已经取得了显著的进展，可以同时处理文本和图像数据，从而提高了文档图像识别与理解的性能。这使得处理多种类型的信息更加容易，包括文字、图像和其它媒体。

• Google Bard：Google Bard 是另一个多模态大模型，同样在文档图像领域表现出色。这种竞争推动了领域内的技术进步，有望带来更多创新。

• 文档图像大模型：文档图像处理领域出现了一系列专有大模型，如 LayoutLM 系列、LiLT INTSIG、UDOP 和 Donut。这些模型使用了多模态 Transformer 编码器，可以应用于不同的文档图像处理任务，包括文本、表格、版面结构和多语言支持。

• 多模态大模型的局限性：尽管多模态大模型在处理文本和图像方面表现出色，但它们仍然存在一些局限性，特别是对于细粒度文本的处理表现较差。这为未来的研究提供了挑战和机会，以进一步提高这些模型的性能。

多模态的 GPT-4 在文档图像上的表现

多模态大型语言模型如 GPT-4 在文档图像分析方面取得了显著的进展，它们可以同时处理文本和图像数据，提高了文档图像识别与理解的性能。

多模态的 Google Bard 在文档图像上的表现

Google Bard 是另一个多模态大型语言模型，在文档图像领域表现出色。

文档图像大模型的进展

文档图像专有大模型

LayoutLM 系列

LayoutLM 系列是一组在文档图像处理领域取得了巨大成功的模型，它们的设计思路和技术应用值得深入探讨。以下是对 LayoutLM 系列的更详细介绍：

1.多模态 Transformer Encoder 的基础：LayoutLM 系列的模型都基于多模态 Transformer Encoder。这个核心组件结合了 Transformer 架构和多模态处理的能力，使得模型能够同时处理文本和图像数据。Transformer 架构在自然语言处理领域取得了卓越的成功，而将其扩展到文档图像处理，为文本和图像之间的关系建模提供了有力工具。2.预训练和下游任务微调：LayoutLM 系列的模型采用了预训练和下游任务微调的训练策略。在预训练阶段，模型通过大规模文档图像数据进行训练，学习了文本和图像的表示以及它们之间的联系。这种预训练的方式使得模型具备了通用的文档图像理解能力。随后，在下游任务微调阶段，模型通过在特定任务上的训练进一步提高了性能，例如，文本识别、表格检测、版面分析等。3.多模态任务的应用：LayoutLM 系列模型在多模态任务上表现出色。它们不仅仅可以识别文本内容，还能够理解文档中的图像信息。这种多模态处理能力使得模型在处理包含文本、图表、图片等多种媒体元素的文档时更具优势，例如，处理年报、研究报告或金融文档。4.不同版本的演进：LayoutLM 系列包括多个版本，如 LayoutLM、LayoutLMv2、LayoutLMv3 和 LayoutXLM。这些版本在核心架构上有所演进，以适应不同的应用场景和任务要求。例如，LayoutLMv3 可能在某些方面具备更高的性能和效率，而 LayoutXLM 可能在多语言支持方面更具优势。这使得 LayoutLM 系列模型在各种需求下都能够发挥作用。

LiLT

1.视觉与语言模型的解耦联合建模：LiLT 采用了一种创新性的方法，将视觉和语言模型分开建模，并通过联合建模的方式将它们整合在一起。这种解耦的设计使模型能够更好地处理文档图像中的文本和视觉信息，从而提高了识别和理解的准确性。2.双向互补注意力模块(BiCAM) ：为了更好地融合视觉和语言模型，LiLT 引入了双向互补注意力模块(BiCAM)。这一模块的作用是使模型能够在视觉和语言之间进行双向的信息传递和交互，从而更好地捕捉文档图像中不同元素之间的关联性。3.多语言小样本/零样本性能卓越：LiLT 在多语言小样本和零样本场景下表现出卓越的性能。这意味着即使在数据有限的情况下，该模型仍能够有效地执行文档图像信息抽取任务，展现了其在应对多语言和数据不足情况下的鲁棒性。

UDOP

UDOP，作为文档图像处理领域的一项重要创新，代表了文档处理大一统模型的新兴趋势。这一模型的设计目的是将文档处理过程变得更加高效、一体化，以应对不同领域和应用中的多样性需求。以下是 UDOP 的主要特点：

1.文档处理大一统模型：UDOP 被称为文档处理的"大一统模型"，这意味着它旨在成为一个通用工具，能够应对多种文档图像处理任务，包括文本识别、版面分析、图像处理等。这一统一的模型设计简化了文档处理工作流程，使其更加高效和灵活。2.统一的 Vision-Text-Layout 编码器：UDOP 采用了一个统一的编码器，将视觉信息、文本内容和版面结构信息融合在一起。这一编码器能够同时处理不同类型的输入，包括文本图像、表格、图片等，从而实现了对多模态信息的综合处理。3.分离的 Text-Layout 和 Vision 解码器：为了更好地理解和处理文档图像，UDOP 采用了分离的解码器，分别处理文本、版面和视觉信息。这种分离的架构使得模型能够更好地捕捉不同元素之间的关联性，提高了文档处理的精度和效率。4.多任务支持：UDOP 被设计成支持多种任务，包括文本识别、表格检测、版面还原等。这使得它可以适应不同领域和行业的需求，从金融领域的票据处理到医疗领域的病历管理，都能够发挥出其强大的潜力。5.应对多语言需求：UDOP 还具备处理多语言文档的能力，这对于国际化企业和跨国合作非常重要。它能够自如地处理不同语言的文档，为全球范围内的用户提供了便利。

Donut

Donut，作为一种用于文档理解的 Transformer 模型，标志着文档图像处理领域的一次革命性突破。这一模型的设计和应用方式为文档理解带来了全新的可能性，以下是对 Donut 的更详细介绍：

1.无需 OCR 的文档理解：Donut 的最显著特点之一是，它不需要传统的 OCR（光学字符识别）步骤来处理文档图像。传统 OCR 方法可能受到图像质量、字体和版式的限制，而 Donut 则通过 Transformer 模型直接理解文档的内容和结构，无需将图像中的文字转化为文本。这使得文档理解变得更加高效和准确。2.Transformer 模型的应用：Donut 采用了 Transformer 模型作为其核心架构。Transformer 模型已在自然语言处理领域取得了巨大成功，但在文档理解中的应用是一个新领域。这一模型通过自注意力机制和多头注意力机制等先进技术，能够捕捉文档中不同元素之间的关联性，包括文本、图像和版面结构。3.多模态处理：Donut 不仅仅处理文本内容，还能够理解文档中的图像信息。这种多模态处理能力使得它在处理包含多种媒体元素的文档时表现出色，例如，处理包含文本、图表和图片的报告或文档。4.文档结构理解：Donut 不仅仅关注文本内容，还能够理解文档的结构。这包括识别标题、段落、列表、表格等不同类型的文档元素，并理解它们之间的层次关系。这种文档结构理解有助于更深入地挖掘文档的信息。5.应用领域：Donut 的应用领域广泛，可以用于自动化文档处理、信息提取、知识管理等各种任务。它能够从文档中提取关键信息、识别主题、分析趋势，为企业和研究机构提供有力的决策支持。6.未来潜力：Donut 代表了文档图像处理领域的未来趋势，它的无需 OCR 和多模态处理能力为文档理解带来了新的思路。未来，我们可以期待看到更多基于 Donut 模型的创新应用，将文档处理推向新的高度。

多模态大模型

BLIP2

BLIP2（Bidirectional Language-Image Pretraining 2）采用了一种创新的方法，将图像编码和语言解码结合起来，实现了多模态数据的高效预训练和表示学习。以下是对 BLIP2 的更详细介绍：

1.Q-Former 连接预训练：BLIP2 采用了 Q-Former 来连接预训练的图像编码器（如 ViT，Vision Transformer）和 LLM（Language-Layout-Model）解码器（如 OPT 和 FlanT5 等）。这个 Q-Former 扮演着关键角色，它允许模型同时处理来自图像和文本的信息。这种连接的方式是创新性的，因为它充分利用了 Transformer 架构的优势，将视觉和语言信息进行有效整合。2.仅需训练 Q-Former 部分：一个显著的特点是，BLIP2 仅需要对 Q-Former 部分进行训练。这是因为 Q-Former 承担了整个模型的核心任务，它负责将来自图像和文本的信息融合在一起，生成丰富的多模态表示。这种策略不仅降低了训练的计算成本，还提高了模型的训练效率。3. 多模态表示学习：BLIP2 的核心目标是学习多模态表示，这意味着模型能够同时理解图像和文本，并在二者之间建立有意义的关联。这对于诸如图像标注、文本到图像生成、文档图像理解等多模态任务非常重要。通过预训练的方式，BLIP2 可以在大规模多模态数据上学习通用的表示，为各种任务提供了强大的基础。

Flamingo

Flamingo 是一种备受瞩目的模型，因其在多模态信息处理方面引入了创新性的设计而备受关注。下面是对 Flamingo 的更详细介绍：

1.引入 Gated Attention 层：Flamingo 的一个显著特点是在 LLM（Language-Layout-Model）中引入了 Gated Attention 层。这一层的作用是引入视觉信息，并将其融合到文本处理过程中。通过 Gated Attention，模型可以有选择性地关注文本和图像信息，以便更好地理解多模态数据。2.多模态数据理解：Flamingo 的设计目标之一是使模型能够有效地理解文本和图像之间的关系。通过 Gated Attention，模型可以根据任务的需要调整关注的重点。例如，在图像标注任务中，模型可以根据图像内容来调整生成文本描述的注意力，从而生成更准确的标注。3.增强了任务性能：引入 Gated Attention 层后，Flamingo 在多模态任务上表现出色。它不仅能够更好地处理图像和文本的关联，还可以在各种任务中提高性能，包括图像标注、视觉问答、文档图像理解等。这使得 Flamingo 成为处理多模态数据的有力工具。

LLaVA

• 将 CLIP ViT-L 和 LLaMA 采用全连接层连接

• 使用 GPT-4 和 Self-Instruct 生成高质量的 158k instruction following 数据

MiniGPT-4

• 视觉部分采用 ViT+Q-Former

• 语言模型部分采用 Vicuna

• 视觉和语言模块间采用全连接层衔接

多模态大模型用于 OCR 领域的局限性

尽管多模态大模型在处理显著文本方面表现出色，但它们仍然存在一些局限性。这些模型受到视觉编码器的分辨率和训练数据的限制，对于细粒度文本的处理表现较差。

文档图像是更偏向于文字还是更偏向于图像?

在文档图像分析中，存在一个关键问题：文档图像是更偏向于文字还是更偏向于图像？这涉及到对文档图像中各种元素的识别和理解。

Pixel2seq 大模型系列

Pix2Seq

将目标检测任务当做一个图像到序列的语言建模任务来解决。

UniTAB

多模态编码器(图像 &文本)+自回归解码器完成多种 Vision-Language(VL)任务。

NOUGAT

通过 Swin Transformer 和 Transformer Decoder 实现文档图像到文档序列输出。

文档图像大模型探索

文档图像大模型设计思路

文档图像大模型的设计思路包括了几个关键要点，这些要点在推动文档图像识别和理解方面发挥了重要作用：

• 将文档图像识别和分析的任务定义为序列预测的形式，这包括了对文本、段落、版面分析、表格、公式等元素的预测。

• 通过不同的提示（prompt）引导模型执行不同的 OCR（Optical Character Recognition）任务，从而提高了模型的多功能性和适用性。

• 支持篇章级的文档图像识别与分析，能够输出标准格式的 Markdown、HTML 或纯文本等文档类型，使模型在处理复杂文档时表现出色。

• 将文档理解相关的任务委托给了 LLM（Language-Layout-Model），这一策略有助于提高模型在处理结构化文档时的效率和准确性。

SPTS 文档图像大模型

SPTS (Sequence-to-Sequence Prediction for Text Spotting) ：SPTS 是一种重要的文档图像处理模型，将端到端的文本检测和识别任务定义为图片到序列的预测任务。这个模型通过单点标注来指示文本的位置，从而降低了标注成本，并且无需复杂的后处理步骤。这一方法为文档图像处理提供了更高效的解决方案，可以应用于场景文本端到端检测识别、表格结构识别和手写数学公式识别等任务。

SPTS

• 将端到端检测识别定义为图片到序列的预测任务

• 采用单点标注指示文本位置，极大地降低了标注成本

• 无需 Rol 采样和复杂的后处理操作，真正将检测识别融为一体

基于 SPTS 的 OCR 大一统模型(SPTS v3)

• 将多种 OCR 任务定义为序列预测的形式

• 通过不同的 prompt 引导模型完成不同的 OCR 任务

• 模型沿用 SPTS 的 CNN+Transformer Encoder+Transformer Decoder 的图片到序列的结构

SPTSv3 的任务定义

• SPTSv3 将多种 OCR 任务定义为序列预测的形式，包括端到端检测识别、表格结构识别和手写数学公式识别。这一模型通过不同的提示（prompt）来引导模型完成不同的 OCR 任务，使其更加灵活和多用途。

实验结果表明，SPTSv3 在各个 OCR 任务上都取得了出色的性能，显示了其在文档图像处理中的潜力。这为文档图像的多任务处理提供了一种高效的解决方案，有望应用于广泛的应用领域，包括自动化文档处理、文档搜索和内容提取等。

训练平台:A100GPUx10

场景文本端到端检测识别

表格结构识别

手写数学公式识别

实验结果

总结

在本次 2023 年第十二届中国智能产业高峰论坛上，丁凯博士的演讲引领我们深入文档大模型的前沿研究。他分享了关于文档大模型的最新研究成果，介绍了合合信息科技公司以及文档图像分析识别与理解领域的挑战。演讲还提到了当前的技术难题和未来的研究方向，旨在实现更灵活的文档图像处理。为文档图像处理的未来带来了更多的可能性。这次精彩的演讲让我们对智能产业的发展充满了信心，期待着更多创新和突破。