论文领读｜tDRO: 面向大模型稠密检索的任务级分布鲁棒优化

澜舟孟子开源社区

10-31

随着基础模型的持续进步和数据量的显著增加，以大语言模型(LLM)为基座的稠密检索(Dense Retrieval, DR)模型已展现出卓越的检索性能。大模型稠密检索(LLM-DR)基于大量异质的微调数据集进行训练，这些异质数据集在领域、语言、对称性等方面展现出巨大的差异性。