【论文速读】| TCSR-SQL：面向表内容感知的自检索文本到 SQL 方法

本次分享论文：TCSR-SQL: Towards Table Content-aware Text-to-SQL with Self-retrieval

基本信息

原文作者：Wenbo Xu, Liang Yan, Peiyi Han, Haifeng Zhu, Chuanyi Liu, Shaoming Duan, Cuiyun Gao, Yingwei Liang

作者单位：哈尔滨工业大学（深圳）、鹏城实验室、广东电网公司

关键词：Text-to-SQL，表内容感知，自检索，LLM

原文链接：https://arxiv.org/pdf/2407.01183

开源代码：

https://github.com/TCSR-SQL/TCSR-SQL

论文要点

论文简介：大语言模型（LLM）在文本到 SQL（Text-to-SQL）方法中取得了重要进展，但在面对真实世界场景中的表内容感知问题时，现有方法在处理问题中模糊数据内容关键词和不存在的数据库模式列名时表现不佳。

为了解决这一问题，本文提出了一种面向表内容感知的自检索文本到 SQL（TCSR-SQL）方法。该方法利用 LLM 的上下文学习能力，从问题中提取数据内容关键词并推断可能相关的数据库模式，通过模糊搜索数据库生成初始 SQL，并在多轮生成-执行-修正过程中不断优化，最终生成精确的 SQL。本文还引入了一个包含 1692 个问题-SQL 对的数据集，以验证该方法的有效性。实验结果表明，TCSR-SQL 在执行准确率上相比现有方法至少提高了 13.7%。

研究目的：本文的研究目的是解决当前 LLM 在生成对应于表内容感知的自然语言问题的 SQL 查询时面临的两个主要困难：一是如何识别自然语言问题中的数据内容关键词所对应的数据库模式列名；二是如何在自然语言问题中的不精确数据内容关键词的基础上，识别数据库中存储的精确内容值。通过引入自检索技术，本文提出了一个创新的方法来处理这一问题，旨在提高生成 SQL 查询的准确性。

研究贡献：

• 提出了一种新颖的 TCSR-SQL 方法，利用自检索技术解决了生成对应表内容感知自然语言问题的 SQL 查询问题。

• 创建了一个包含 1692 个问题-SQL 对的新数据集，用于评估该方法的有效性。

• 实验结果表明，TCSR-SQL 在执行准确率上相比现有最先进的方法提高了 13.7%。

引言

随着大语言模型（LLM）技术的快速发展，基于 LLM 的文本到 SQL（Text-to-SQL）方法在生成 SQL 查询方面取得了重要进展。然而，现有方法在处理真实世界中的表内容感知问题时，仍然面临一些挑战。例如，当问题中包含模糊的数据内容关键词和不存在的数据库模式列名时，现有方法的表现往往不尽如人意。

为了解决这些问题，本文提出了一种面向表内容感知的自检索文本到 SQL（TCSR-SQL）方法。该方法利用 LLM 的上下文学习能力，从问题中提取数据内容关键词并推断可能相关的数据库模式，通过模糊搜索数据库生成初始 SQL，并在多轮生成-执行-修正过程中不断优化，最终生成精确的 SQL。

具体来说，TCSR-SQL 包括三个主要模块：关键词提取与模糊检测、知识检索与对齐、SQL 生成与修正。关键词提取与模糊检测模块从自然语言问题中提取数据内容关键词，并通过模糊检测技术搜索数据库中的相关内容值。知识检索与对齐模块则利用检索到的编码知识确认 SQL 查询中的列名和条件值。最后，SQL 生成与修正模块生成初步的 SQL 查询，并根据执行结果进行修正，直至生成最终的精确 SQL。

相关工作

目前，最新的 Text-to-SQL 研究主要关注如何利用大语言模型（LLM）来完成这一任务。基于 LLM 的 Text-to-SQL 方法大致可以分为两类：基于数据库模式的方法和基于数据内容的方法。

1. 基于数据库模式的方法

· 提示工程方法：例如，C3-SQL 设计了一种零样本提示技术，通过将 Text-to-SQL 任务分解为两个子任务：模式链接和 SQL 生成。DIN-SQL 设计了多轮少样本提示策略，将 Text-to-SQL 任务分解为四个子任务：模式链接、分类与分解、SQL 生成和自我修正。

· 微调方法：随着 LLM 技术的快速迭代和开源 LLM 模型的大规模出现，一些研究致力于通过微调技术将通用 LLM 训练为 Text-to-SQL 领域的特定 LLM。

2. 基于数据内容的方法

· 仅使用 LLM 的方法：一些方法直接在提示工程和微调方法的基础上增加了几个数据内容样本。例如，SQLPrompt 在输入提示中增加了相关的数据库内容值。CodeS 在设计的数据库提示构建会话中引入了数据内容样本，以微调开源 LLM 模型 StarCoder。

· 基于代理的方法：一些研究探索了代理方法在 Text-to-SQL 领域的可能性。例如，SQL-CRAFT 引入了 SQL 查询执行的反馈信息，以指导 LLM 修正其生成的 SQL 查询。

尽管这些方法提供了数据内容样本，但它们仍然无法直接使用数据库中存储的精确内容值作为生成 SQL 查询的条件值。因此，本文提出了一种自检索技术，将数据库内容理解与 SQL 生成-执行-修正过程相结合，以解决这一问题。

TCSR-SQL

如引言部分所述，现有的基于 LLM 的 Text-to-SQL 方法在根据大数据库的表内容感知自然语言问题生成 SQL 查询时面临两大困难：一是识别自然语言问题中的数据内容关键词所对应的数据库模式列名，二是识别数据库中存储的精确内容值。

为了解决这些问题，本文提出了 TCSR-SQL 方法，包含三个模块：

1. 关键词提取与模糊检测模块：从自然语言问题中提取数据内容关键词，并通过模糊检测技术搜索数据库中的相关内容值。

2. 知识检索与对齐模块：利用模糊检测模块的搜索结果确认 SQL 查询中的列名和条件值。

3. SQL 生成与修正模块：生成初步的 SQL 查询，并根据执行结果进行修正，直至生成最终的精确 SQL。

研究评估

实验设置：为了评估 TCSR-SQL 方法的有效性，本文创建了一个包含 1692 个问题-SQL 对的基准数据集（TCD）。该数据集从多个 Spider 变体数据集和实际数据库中提取，涵盖了真实世界中的表内容感知问题。评估指标包括执行准确率（EX）和精确匹配准确率（EM），前者比较预测 SQL 查询和金标准 SQL 查询的执行输出，后者比较预测 SQL 查询和金标准 SQL 查询的各个部分。实验使用 GPT-3.5-turbo 模型，并采用 Dmeta-embedding 算法进行相似度计算。

整体结果：实验结果表明，TCSR-SQL 在执行准确率（EX）和精确匹配准确率（EM）方面均显著优于现有最先进的方法。具体而言，TCSR-SQL 在 EX 和 EM 上分别达到了 75.0%和 48.2%，相比最佳现有方法至少提高了 13.7%。这得益于关键词提取与模糊检测、知识检索与对齐、SQL 生成与修正三个模块的协同工作。通过多轮生成-执行-修正过程，TCSR-SQL 能够更准确地生成对应表内容感知的 SQL 查询，有效应对真实世界中的复杂查询任务。

消融实验：通过消融实验评估了 TCSR-SQL 各模块对整体性能的影响。结果显示，去除关键词提取与模糊检测模块后，执行准确率（EX）下降了 7.6%；去除知识检索与对齐模块后，EX 下降了 9.3%；去除 SQL 修正模块后，EX 下降了 6.4%。这些结果表明，每个模块对提高 SQL 生成准确性都起到了重要作用。特别是知识检索与对齐模块，通过整合编码知识，显著提升了 SQL 查询条件的精确性，而 SQL 修正模块通过执行反馈进一步优化了最终的 SQL 查询。

案例研究：为了深入了解 TCSR-SQL 的工作原理，研究者进行了案例研究。研究表明，现有方法在生成 SQL 查询时常常无法正确识别数据内容关键词和条件值，导致查询结果为空或错误。相比之下，TCSR-SQL 通过关键词提取与模糊检测模块有效地提取问题中的数据内容关键词，并利用知识检索与对齐模块确认数据库中的精确存储值。最终，SQL 生成与修正模块生成准确的 SQL 查询，避免了常见错误。例如，在处理一个关于 GDP 增长率的问题时，TCSR-SQL 成功生成了正确的 SQL 查询，而其他方法均未能正确执行。

论文结论

本文提出的 TCSR-SQL 方法，通过引入自检索技术，显著提升了生成对应表内容感知自然语言问题的 SQL 查询的准确性。实验结果表明，TCSR-SQL 在执行准确率和精确匹配准确率方面均显著优于现有最先进的方法。具体来说，TCSR-SQL 利用关键词提取与模糊检测、知识检索与对齐、SQL 生成与修正三个模块，解决了在大数据库中生成准确 SQL 查询的关键挑战。通过创建一个包含 1692 个问题-SQL 对的新数据集，研究者验证了该方法的有效性，证明了其在处理复杂查询任务中的优越性能。总之，TCSR-SQL 为 Text-to-SQL 领域提供了一个创新且高效的解决方案。

原作者：论文解读智能体

校对：小椰风