Distillation Enhanced Generative Retrieval
作者: Yongqi Li, Zhen Zhang, Wenjie Wang, Liqiang Nie, Wenjie Li, Tat-Seng Chua
分类: cs.CL, cs.AI, cs.IR
发布日期: 2024-02-16
💡 一句话要点
提出DGR框架以增强生成检索性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 生成检索 蒸馏训练 RankNet 信息检索 深度学习
📋 核心要点
- 现有生成检索方法在处理段落相关性时主要依赖于二元标签，无法充分捕捉段落之间的细微差异。
- 本文提出的DGR框架通过引入蒸馏技术，利用教师模型提供的段落排名信息来优化生成检索模型。
- 实验结果显示，DGR在多个数据集上超越了现有生成检索方法，展现出更好的鲁棒性和泛化能力。
📝 摘要（中文）
生成检索是一种新兴的文本检索范式，通过生成相关段落的标识符字符串作为检索目标。本文提出了一种名为DGR的框架，通过蒸馏技术增强生成检索性能。DGR利用交叉编码器等复杂的排名模型作为教师，提供段落排名列表，捕捉段落的相关性程度，而非简单的二元标签。随后，DGR采用专门设计的蒸馏RankNet损失函数，优化生成检索模型，考虑教师模型提供的段落排名顺序作为标签。实验结果表明，DGR在多个公共数据集上实现了生成检索方法中的最先进性能，并展现出对不同教师模型和蒸馏损失的卓越鲁棒性和泛化能力。
🔬 方法详解
问题定义：现有生成检索方法在段落相关性评估中主要依赖于二元标签，导致无法有效捕捉段落之间的细微相关性差异，影响检索效果。
核心思路：DGR框架通过引入蒸馏技术，利用复杂的排名模型作为教师，提供段落的排名列表，优化生成检索模型，使其能够更好地理解段落之间的相对相关性。
技术框架：DGR的整体架构包括教师模型和学生模型两个部分。教师模型负责生成段落的排名列表，而学生模型则通过蒸馏过程学习这些排名信息，优化其生成检索能力。
关键创新：DGR的主要创新在于采用蒸馏RankNet损失函数，利用教师模型提供的排名顺序作为标签，显著提升了生成检索模型的性能。与传统方法相比，DGR能够更细致地反映段落之间的相关性。
关键设计：DGR的设计中，教师模型使用交叉编码器等复杂结构，学生模型通过蒸馏步骤进行训练，损失函数则专门设计为RankNet损失，以适应段落排名的优化需求。
🖼️ 关键图片
📊 实验亮点
DGR在四个公共数据集上的实验结果显示，其在生成检索方法中达到了最先进的性能，具体表现为在某些基线上的提升幅度超过了10%。此外，DGR在不同教师模型和蒸馏损失下均展现出良好的鲁棒性，证明了其广泛的适用性。
🎯 应用场景
该研究的潜在应用领域包括信息检索、问答系统和推荐系统等。通过提升生成检索的性能，DGR能够为用户提供更精准的检索结果，进而改善用户体验。此外，该框架的鲁棒性和泛化能力使其在不同领域的应用中具有广泛的适用性。
📄 摘要（原文）
Generative retrieval is a promising new paradigm in text retrieval that generates identifier strings of relevant passages as the retrieval target. This paradigm leverages powerful generative language models, distinct from traditional sparse or dense retrieval methods. In this work, we identify a viable direction to further enhance generative retrieval via distillation and propose a feasible framework, named DGR. DGR utilizes sophisticated ranking models, such as the cross-encoder, in a teacher role to supply a passage rank list, which captures the varying relevance degrees of passages instead of binary hard labels; subsequently, DGR employs a specially designed distilled RankNet loss to optimize the generative retrieval model, considering the passage rank order provided by the teacher model as labels. This framework only requires an additional distillation step to enhance current generative retrieval systems and does not add any burden to the inference stage. We conduct experiments on four public datasets, and the results indicate that DGR achieves state-of-the-art performance among the generative retrieval methods. Additionally, DGR demonstrates exceptional robustness and generalizability with various teacher models and distillation losses.