Advanced RAG 02：揭开 PDF 文档解析的神秘面纱
编者按： 自 2023 年以来，RAG 已成为基于 LLM 的人工智能系统中应用最为广泛的架构之一。由于诸多产品的关键功能（如：领域智能问答、知识库构建等）严重依赖 RAG，优化其性能、提高检索效率和准确性迫在眉睫，成为当前 RAG 相关研究的核心问题。如何高效准确地从 PDF 等非结构化数据中提取信息并加以利用，是其中一个亟待解决的重要问题。本文比较分析了多种解决方案的优缺点，着重探讨了这一问题的应对之策。
文章首先介绍了基于规则的解析方法，如 pypdf，指出其无法很好地保留文档结构。接着作者评估了基于深度学习模型的解析方法，如 Unstructured 和 Layout-parser ，阐述了这种方法在提取表格、图像和保留文档布局结构等方面的优势，但同时也存在一些局限性。对于具有双列（double-column）等复杂布局的 PDF 文档，作者提出了一种经过改进的重排序算法。此外，作者还探讨了利用多模态大模型直接从 PDF 文档中提取信息的可能性。
这篇文章系统地分析了 PDF 文档解析中的各种挑战，并给出了一系列解决思路和改进算法，为进一步提高非结构化数据解析的质量贡献了有价值的见解，同时也指出了未来 PDF 文档解析的发展方向。
作者 | Florian June
编译 | 岳扬
对于 RAG 系统而言，从文档中提取信息是一种不可避免的情况。确保能够从源文件中有效地提取内容，对于提高最终输出的质量至关重要。
切勿低估这一流程的重要性。在使用 RAG 系统时，如果在文档解析过程中信息提取不力，会导致对 PDF 文件中所含信息的理解和利用受限。
解析流程（Pasing process）在 RAG 系统中的位置如图 1 所示：
图 1：解析流程（Pasing process）在 RAG 系统中的位置。Image by author。
在实际工作场景中，非结构化数据远比结构化数据丰富。但如果这些海量数据不能被解析，其巨大价值将无法发掘，其中 PDF 文档尤为突出。
在非结构化数据中，PDF 文档占绝大多数。有效处理 PDF 文档对管理其他类型的非结构化文档也有很大帮助。
本文主要介绍解析 PDF 文档的方法，包括但不限于如何有效解析 PDF 文档、如何尽可能提取更多有用信息等相关问题的算法和建议。
01 解析 PDF 将会面临的挑战
PDF 文档是非结构化文档的代表性格式，然而，从 PDF 文档中提取信息是一个极具挑战性的过程。
与其说 PDF 是一种数据格式，不如将其描述为一系列打印指令的集合更为准确。PDF 文件由一系列指令组成，这些指令指示 PDF 阅读器或打印机在屏幕或纸张上如何安排各种符号、文字的位置和显示方式。 这与 HTML 和 docx 等文件格式截然不同，这些文件格式使用 <p>、<w:p>、<table> 和 <w:tbl> 等标签来组织不同的逻辑结构，如图 2 所示：
图 2：Html vs PDF. Image by author.
解析 PDF 文档的挑战在于准确提取整个页面的布局，并将所有内容（包括表格、标题、文本段落和图像）转化为文本形式。 在这个过程中，会出现文本提取不准确、图像识别不精确以及混淆表格中的行列关系等挑战。
02 如何解析 PDF 文档
一般来说，解析 PDF 文档有三种方法，它们各有优缺点，适用于不同的场景：
基于规则的解析方法（Rule-based approach） ：根据文档的组织特征确定 PDF 文档中每个部分的样式和内容。不过，这种方法的通用性不强，因为 PDF 的类型和布局繁多，难以通过预定义的规则覆盖所有情况。
基于深度学习模型的解析方法：例如结合目标检测（object detection）和 OCR 模型的解决方案。
基于多模态大模型解析复杂结构或提取 PDF 中的关键信息。
2.1 基于规则的解析方法（Rule-based approach）
pypdf[1] 是这种方法最具代表性的工具之一，它是一种被广泛使用的基于规则的 PDF 解析工具。在 LangChain[2] 和 LlamaIndex[3] 等库中，被作为解析 PDF 文件的标准方法使用。
下面是使用 pypdf 尝试解析《Attention Is All You Need》[4]论文第 6 页的案例。该页面如图 3 所示。
图 3：《Attention Is All You Need》论文第 6 页
具体代码如下：
代码运行结果为（为简洁起见，省略其余部分）：
根据 PyPDF 的检测结果，可以发现它将 PDF 中的字符序列（character sequences）序列化为一个单一的长序列，而不保留结构信息。换句话说，它将文档中的每一行都视为由换行符"\n "分隔的序列，因此无法准确识别文本段落或表格。
这种限制是基于规则的 pdf 解析方法的固有特征。
2.2 基于深度学习模型的解析方法
这种方法的优点在于能够准确识别文档的整体布局（包括表格和文本段落），甚至可以理解表格的内部结构。说明这种方法可以将文档划分为定义明确、完整的信息单元，同时还可以保留预期的含义和结构。
不过，这种方法也存在一定的局限性。目标检测（object detection）和 OCR 阶段可能比较耗时。因此，建议使用 GPU 或其他用于加速特定计算任务的硬件，并采用多个进程和线程并行处理。
这种方法需要使用目标检测（object detection）技术和 OCR 模型，我已经测试了几个最具代表性的开源框架：
Unstructured[5]：该框架已经被集成到 langchain[6] 中。在 infer_table_structure 为 True 的情况下，hi_res 策略的表格识别效果很好。然而，fast 策略由于没有使用目标检测模型，错误地识别了许多图像和表格，因此表现不佳。
Layout-parser[7]：如果需要识别结构复杂的 PDF，建议使用框架中最大规模的模型，这样准确率会更高，不过速度可能会稍慢一些。此外，Layout-parser 的模型[8]似乎在过去两年中没有更新过。
PP-StructureV2[9]： 采用了各种模型组合进行文档分析，性能高于平均水平。其架构如图 4 所示：
图 4：作者提出的 PP-StructureV2 框架。它包含两个子系统：布局信息提取（layout information extraction）和关键信息提取（key information extraction）。来源：PP-StructureV2[9]。
除了前文提到的那些开源工具外，还存在像 ChatDOC 这样需要付费才能使用的商业工具，这些商业工具利用基于文档布局的识别和 OCR（光学字符识别）方法来解析 PDF 文档。
接下来，我们将详细说明如何使用开源的 unstructured[10] 框架来解析 PDF，解决下面这三个关键挑战。
挑战 1：如何从表格和图片中提取数据
在本小节，我们将以 unstructured[10] 框架为例。检测到的表格数据可以直接导出为 HTML。相关代码如下：
通过跟踪 partition_pdf 函数的内部代码逻辑，绘制了如图 5 的基本代码流程图。
图 5：partition_pdf 函数的内部代码逻辑。Image by author。
代码运行的结果如下：
复制 HTML 标签并将它们保存为 HTML 文件。然后，使用 Chrome 打开它，如图 6 所示：
图 6：图 3 中表格 1 的内容提取。Image by author。
可以看出，unstructured 算法基本准确提取了整个表格的数据。
挑战 2：如何重新排列检测到的数据块？特别是如何处理双列（double-column） PDF
在处理双列（double-column） PDF 时，我们以《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》[11]论文为例。红色箭头表示阅读顺序：
图 7：Double-column page
确定布局后，unstructured 框架会将每个页面划分为若干矩形块，如图 8 所示。
图 8：布局检测结果的可视化。Image by author。
每个矩形块的详细信息可以按以下格式获取：
其中 (x1, y1) 是左上顶点的坐标，而 (x2, y2) 是右下顶点的坐标：
此时，你可以选择重新调整（reshape）页面的阅读顺序。Unstructured 框架已经内置了排序算法，但我发现在处理 double-column 的情况时，排序结果并不令我满意。
因此，有必要设计一种算法处理这种情况。最简单的方法是首先按照左上顶点的横坐标进行排序，如果横坐标相同，则按纵坐标进行排序。其伪代码如下：
不过，我们发现，即使是同一列中的图块，其横坐标也可能存在变化。如图 9 所示，紫线指向的 block 横坐标 bbox.x1 实际上更靠左。进行排序时，它的位置会在绿线指向的 block 之前，这显然违反了文档的阅读顺序。
图 9：同一列的横坐标可能会有变化。Image by author。
在这种情况下，一种具备可行性的算法如下：
首先，对所有左上顶点 x 坐标 x1 进行排序，得到 x1_min
然后，对所有右下顶点 x 坐标 x2 进行排序，得到 x2_max
接下来，确定页面中心线的 x 坐标为：
之后，如果 bbox.x1 < mid_line_x_coordinate，则将该 block 划为左列的一部分。否则，将其视为右列的一部分。
分类完成后，根据它们的 y 坐标对每列内的每个 block 进行排序。最后，将右侧列连接到左侧列的右侧。
值得一提的是，这一算法改进也能兼容单栏 PDF 的解析。
挑战 3：如何提取多级标题
提取标题（包括多级标题）的目的是增强 LLM 所提供回复内容的准确性。
例如，如果用户想了解图 9 中第 2.1 节的大意，只需准确提取出第 2.1 节的标题，并将其与相关内容一起作为上下文发送给 LLM，最终所得到的回复内容的准确性就会大大提高。
该算法仍然依赖于图 9 所示的布局块（layout blocks）。我们可以提取 type=’Section-header’ 的 block，并计算高度差值（bbox.y2 - bbox.y1）。高度差值（height difference）最大的 block 对应一级标题，其次是二级标题，然后是三级标题。
2.3 基于多模态大模型解析 PDF 中的复杂结构
在多模态模型得到快速发展和广泛应用之后，也可以利用多模态模型来解析表格。有几种选择[12]：
检索相关图像（PDF 页面）并将它们发送到 GPT4-V ，以响应用户向系统提交的问题或需求。
将每个 PDF 页面视为一张图像，让 GPT4-V 对每个页面进行图像推理。通过图像推理构建 Text Vector Store index （译者注：应当是对文本向量进行索引和检索的数据结构或存储空间）。使用 Image Reasoning Vectore Store （译者注：应当为用于存储图像推理向量的数据库或仓库）查询答案。
使用 Table Transformer 从检索到的图像中裁剪表格信息，然后将这些裁剪后的图像发送到 GPT4-V 以响应用户向系统提交的问题或需求。
对裁剪后的表格图像使用 OCR 技术进行识别，然后将数据发送到 GPT4 / GPT-3.5 ，以回答用户向系统提交的问题。
经过测试，确定第三种方法最为有效。
此外，我们还可以使用多模态模型从图像中提取或总结关键信息（因为 PDF 文件可轻松转换为图像），如图 10 所示。
图 10：从图像中提取或总结关键信息。来源：GPT-4 with Vision: Complete Guide and Evaluation[13]
03 Conclusion
一般几乎所有的非结构化文档都具有高度的灵活性，需要各种各样的解析技术。然而，业界目前还没有就使用哪种方法达成共识。
在这种情况下，建议选择最适合项目需求的方法，根据不同类型的 PDF 文件，采取特定的处理方法。例如，论文、书籍和财务报表等非结构性文档可能会根据其特点进行独特的布局设计。
尽管如此，如果条件允许，仍建议选择基于深度学习或多模态的方法。这些方法可以有效地将文档分割成定义明确、完整的信息单元，从而最大限度地保留文档的原意和结构。
Thanks for reading!
————
Florian June
An artificial intelligence researcher, mainly write articles about Large Language Models, data structures and algorithms, and NLP.
END
参考资料
[1]https://github.com/py-pdf/pypdf
[3]https://github.com/run-llama/llama_index/blob/v0.9.32/llama_index/readers/file/docs_reader.py
[4]https://arxiv.org/pdf/1706.03762.pdf
[5]http://unstructured-io.github.io/unstructured/
[7]http://github.com/Layout-Parser/layout-parser
[8]https://layout-parser.github.io/platform/
[9]https://arxiv.org/pdf/2210.05391.pdf
[10]https://github.com/Unstructured-IO/unstructured
[11]https://arxiv.org/pdf/1810.04805.pdf
[12]https://docs.llamaindex.ai/en/stable/examples/multi_modal/multi_modal_pdf_tables.html
[13]https://blog.roboflow.com/gpt-4-vision/
本文经原作者授权，由 Baihai IDP 编译。如需转载译文，请联系获取授权。
原文链接：
https://pub.towardsai.net/advanced-rag-02-unveiling-pdf-parsing-b84ae866344e
版权声明: 本文为 InfoQ 作者【Baihai IDP】的原创文章。
原文链接:【http://xie.infoq.cn/article/8453fea2ee36f8f7beff9996e】。
本文遵守【CC-BY 4.0】协议，转载请保留原文出处及本版权声明。
还未添加个人签名 2021-08-31 加入
IDP(Intelligent Development Platform)是面向数据科学家和算法工程师的新一代AI开发生产平台，便捷、高效数据科学家对数据接入与探索、模型开发、调试、训练和模型发布的需求。
评论