NL2SQL 进阶系列 (1)：DB-GPT-Hub、SQLcoder、Text2SQL 开源应用实践详解
NL2SQL 进阶系列(1)：DB-GPT-Hub、SQLcoder、Text2SQL 开源应用实践详解
NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（Spider vs BIRD）全面对比优劣分析[Text2SQL、Text2DSL]
NL2SQL基础系列(2)：主流大模型与微调方法精选集，Text2SQL经典算法技术回顾七年发展脉络梳理
1. MindSQL(库)
MindSQL 是一个 Python RAG（检索增强生成）库，旨在仅使用几行代码来简化用户与其数据库之间的交互。 MindSQL 与 PostgreSQL、MySQL、SQLite 等知名数据库无缝集成，还通过扩展核心类，将其功能扩展到 Snowflake、BigQuery 等主流数据库。 该库利用 GPT-4、Llama 2、Google Gemini 等大型语言模型 (LLM)，并支持 ChromaDB 和 Fais 等知识库。
官方链接：https://pypi.org/project/mindsql/
https://github.com/Mindinventory/MindSQL
使用案例
2.DB-GPT-Hub:利用 LLMs 实现 Text-to-SQL 微调
DB-GPT-Hub 是一个利用 LLMs 实现 Text-to-SQL 解析的实验项目，主要包含数据集收集、数据预处理、模型选择与构建和微调权重等步骤，通过这一系列的处理可以在提高 Text-to-SQL 能力的同时降低模型训练成本，让更多的开发者参与到 Text-to-SQL 的准确度提升工作当中，最终实现基于数据库的自动问答能力，让用户可以通过自然语言描述完成复杂数据库的查询操作等工作。
2.1、数据集
本项目案例数据主要以 Spider 数据集为示例 ：
其他数据集：
WikiSQL: 一个大型的语义解析数据集，由 80,654 个自然语句表述和 24,241 张表格的 sql 标注构成。WikiSQL 中每一个问句的查询范围仅限于同一张表，不包含排序、分组、子查询等复杂操作。
CHASE: 一个跨领域多轮交互 text2sql 中文数据集，包含 5459 个多轮问题组成的列表，一共 17940 个<query, SQL>二元组，涉及 280 个不同领域的数据库。
BIRD-SQL：数据集是一个英文的大规模跨领域文本到 SQL 基准测试，特别关注大型数据库内容。该数据集包含 12,751 对文本到 SQL 数据对和 95 个数据库，总大小为 33.4GB，跨越 37 个职业领域。BIRD-SQL 数据集通过探索三个额外的挑战，即处理大规模和混乱的数据库值、外部知识推理和优化 SQL 执行效率，缩小了文本到 SQL 研究与实际应用之间的差距。
CoSQL:是一个用于构建跨域对话文本到 sql 系统的语料库。它是 Spider 和 SParC 任务的对话版本。CoSQL 由 30k+回合和 10k+带注释的 SQL 查询组成，这些查询来自 Wizard-of-Oz 的 3k 个对话集合，查询了跨越 138 个领域的 200 个复杂数据库。每个对话都模拟了一个真实的 DB 查询场景，其中一个工作人员作为用户探索数据库，一个 SQL 专家使用 SQL 检索答案，澄清模棱两可的问题，或者以其他方式通知。
2.2、基座模型
DB-GPT-HUB 目前已经支持的 base 模型有：
[x] CodeLlama
[x] Baichuan2
[x] LLaMa/LLaMa2
[x] Falcon
[x] Qwen
[x] XVERSE
[x] ChatGLM2
[x] ChatGLM3
[x] internlm
[x] Falcon
[x] sqlcoder-7b(mistral)
[x] sqlcoder2-15b(starcoder)
模型可以基于 quantization_bit 为 4 的量化微调(QLoRA)所需的最低硬件资源,可以参考如下：
其中相关参数均设置的为最小，batch_size 为 1，max_length 为 512。根据经验，如果计算资源足够，为了效果更好，建议相关长度值设置为 1024 或者 2048。
2.3 快速使用
环境安装
2.3.1 数据预处理
DB-GPT-Hub 使用的是信息匹配生成法进行数据准备，即结合表信息的 SQL + Repository 生成方式，这种方式结合了数据表信息，能够更好地理解数据表的结构和关系，适用于生成符合需求的 SQL 语句。从spider数据集链接 下载 spider 数据集，默认将数据下载解压后，放在目录 dbgpt_hub/data 下面，即路径为dbgpt_hub/data/spider。
数据预处理部分，只需运行如下脚本即可：
在dbgpt_hub/data/目录你会得到新生成的训练文件 example_text2sql_train.json 和测试文件 example_text2sql_dev.json ，数据量分别为 8659 和 1034 条。 对于后面微调时的数据使用在 dbgpt_hub/data/dataset_info.json 中将参数file_name值给为训练集的文件名，如 example_text2sql_train.json。
生成的 json 中的数据形如：
项目的数据处理代码中已经嵌套了chase 、cosql、sparc的数据处理，可以根据上面链接将数据集下载到 data 路径后，在dbgpt_hub/configs/config.py中将 SQL_DATA_INFO中对应的代码注释松开即可。
2.3.2 快速开始
首先，用如下命令安装dbgpt-hub：
pip install dbgpt-hub
然后，指定参数并用几行代码完成整个 Text2SQL fine-tune 流程：
2.3.3、模型微调
本项目微调不仅能支持 QLoRA 和 LoRA 法，还支持 deepseed。 可以运行以下命令来微调模型，默认带着参数--quantization_bit 为 QLoRA 的微调方式，如果想要转换为 lora 的微调，只需在脚本中去掉 quantization_bit 参数即可。默认 QLoRA 微调，运行命令：
微调后的模型权重会默认保存到 adapter 文件夹下面，即 dbgpt_hub/output/adapter 目录中。
如果使用多卡训练，想要用 deepseed ，则将 train_sft.sh 中默认的内容进行更改，调整为：
更改为：
如果需要指定对应的显卡 id 而不是默认的前两个如 3,4，可以如下
其他省略(...)的部分均保持一致即可。 如果想要更改默认的 deepseed 配置，进入 dbgpt_hub/configs 目录，在 ds_config.json 更改即可，默认为 stage2 的策略。
脚本中微调时不同模型对应的关键参数 lora_target 和 template，如下表：
train_sft.sh中其他关键参数含义：
quantization_bit：是否量化，取值为[4 或者 8]
model_name_or_path： LLM 模型的路径
dataset： 取值为训练数据集的配置名字，对应在 dbgpt_hub/data/dataset_info.json 中外层 key 值，如 example_text2sql。
max_source_length： 输入模型的文本长度，如果计算资源支持，可以尽能设大，如 1024 或者 2048。
max_target_length： 输出模型的 sql 内容长度，设置为 512 一般足够。
output_dir ： SFT 微调时 Peft 模块输出的路径，默认设置在 dbgpt_hub/output/adapter/路径下 。
per_device_train_batch_size ： batch 的大小，如果计算资源支持，可以设置为更大，默认为 1。
gradient_accumulation_steps ： 梯度更新的累计 steps 值 save_steps ： 模型保存的 ckpt 的 steps 大小值，默认可以设置为 100。
num_train_epochs ： 训练数据的 epoch 数
2.3.4、模型预测
项目目录下./dbgpt_hub/下的output/pred/，此文件路径为关于模型预测结果默认输出的位置(如果没有则建上)。
预测运行命令：
脚本中默认带着参数--quantization_bit 为 QLoRA 的预测，去掉即为 LoRA 的预测方式。
其中参数predicted_input_filename 为要预测的数据集文件， --predicted_out_filename 的值为模型预测的结果文件名。默认结果保存在dbgpt_hub/output/pred目录。
2.3.5、模型权重
可以从 Huggingface 查看社区上传的第二版 Peft 模块权重huggingface地址 (202310) ,在 spider 评估集上的执行准确率达到 0.789。
模型和微调权重合并如果你需要将训练的基础模型和微调的 Peft 模块的权重合并，导出一个完整的模型。则运行如下模型导出脚本：
注意将脚本中的相关参数路径值替换为你项目所对应的路径。
2.3.6、模型评估
对于模型在数据集上的效果评估,默认为在spider数据集上。运行以下命令来：
你可以在这里找到最新的评估和实验结果。注意： 默认的代码中指向的数据库为从Spider官方网站下载的大小为 95M 的 database，如果你需要使用基于 Spider 的test-suite中的数据库(大小 1.27G)，请先下载链接中的数据库到自定义目录，并在上述评估命令中增加参数和值，形如--db Your_download_db_path。
2.4 小结
整个过程会分为三个阶段：
阶段一:
搭建基本框架，基于数个大模型打通从数据处理、模型 SFT 训练、预测输出和评估的整个流程现在支持
[x] CodeLlama
[x] Baichuan2
[x] LLaMa/LLaMa2
[x] Falcon
[x] Qwen
[x] XVERSE
[x] ChatGLM2
[x] ChatGLM3
[x] internlm
[x] sqlcoder-7b(mistral)
[x] sqlcoder2-15b(starcoder)
阶段二:
[x] 优化模型效果，支持更多不同模型进行不同方式的微调。
[x] 对
prompt优化[x] 放出评估效果，和优化后的还不错的模型，并且给出复现教程(见微信公众号 EosphorosAI)
阶段三：
[ ] 推理速度优化提升
[ ] 业务场景和中文效果针对性优化提升
3.sqlcoder
官方链接：https://github.com/defog-ai/sqlcoder
Defog 组织提出的先进的 Text-to-SQL 的大模型，表现亮眼，效果优于 GPT3.5、wizardcoder 和 starcoder 等，仅次于 GPT4。
将每个生成的问题分为 6 类。该表显示了每个模型正确回答问题的百分比，并按类别进行了细分。
4.modal_finetune_sql
项目基于 LLaMa 2 7b 模型进行 Text-to-SQL 微调，有完整的训练、微调、评估流程。
链接：https://github.com/run-llama/modal_finetune_sql
5.LLaMA-Efficient-Tuning
这是一个易于使用的 LLM 微调框架，支持 LLaMA-2、BLOOM、Falcon、Baichuan、Qwen、ChatGLM2 等。
链接：https://github.com/hiyouga/LLaMA-Factory/tree/main
多种模型：LLaMA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
集成方法：（增量）预训练、指令监督微调、奖励模型训练、PPO 训练、DPO 训练和 ORPO 训练。
多种精度：32 比特全参数微调、16 比特冻结微调、16 比特 LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微调。
先进算法：GaLore、DoRA、LongLoRA、LLaMA Pro、LoRA+、LoftQ 和 Agent 微调。
实用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
实验监控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
极速推理：基于 vLLM 的 OpenAI 风格 API、浏览器界面和命令行接口。
训练方法
可视化使用教学
https://github.com/hiyouga/LLaMA-Factory/assets/16256802/ec36a9dd-37f4-4f72-81bd-d76c6d0a6594
参考链接
Awesome Text2SQL：https://github.com/eosphoros-ai/Awesome-Text2SQL/blob/main/README.zh.md
更多优质内容请关注公号：汀丶人工智能；会提供一些相关的资源和优质文章，免费获取阅读。
版权声明: 本文为 InfoQ 作者【汀丶人工智能】的原创文章。
原文链接:【http://xie.infoq.cn/article/0a8fb6ba3a74dc53d53b0027e】。
本文遵守【CC-BY 4.0】协议，转载请保留原文出处及本版权声明。
本博客将不定期更新关于NLP等领域相关知识 2022-01-06 加入
本博客将不定期更新关于机器学习、强化学习、数据挖掘以及NLP等领域相关知识，以及分享自己学习到的知识技能，感谢大家关注！
评论