List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation

📄 arXiv: 2402.02764v1 📥 PDF

作者: Shicheng Xu, Liang Pang, Jun Xu, Huawei Shen, Xueqi Cheng

分类: cs.IR, cs.AI, cs.CL

发布日期: 2024-02-05

备注: Accepted by WWW 2024

💡 一句话要点

提出Reranking-Truncation联合模型以解决信息检索中的错误累积问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 重新排序 截断 生成模型 联合优化 深度学习 自然语言处理

📋 核心要点

  1. 现有方法将重新排序和截断视为独立任务，导致上下文信息共享困难和错误累积问题。
  2. 本文提出Reranking-Truncation联合模型（GenRT），通过生成范式同时优化这两个任务。
  3. 实验结果显示，GenRT在网页搜索和检索增强的LLM任务上均达到了SOTA性能。

📝 摘要（中文）

信息检索（IR）的结果通常以候选文档的排名列表形式呈现。列表感知检索旨在捕捉列表级上下文特征，以返回更优的列表，主要包括重新排序和截断。现有研究将这两者视为独立任务，导致上下文信息共享困难和错误累积问题。为此，本文提出了一种Reranking-Truncation联合模型（GenRT），通过基于编码器-解码器架构的生成范式同时执行这两个任务，并设计了新颖的损失函数进行联合优化。实验结果表明，该方法在公共学习排名基准和开放域问答任务上均实现了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决信息检索中重新排序和截断任务的独立性问题。现有方法在处理这两个任务时，无法有效共享上下文信息，且容易出现错误累积现象。

核心思路：提出的GenRT模型通过联合优化重新排序和截断任务，利用生成模型的优势，使得两个任务可以共享参数和上下文信息，从而提高整体性能。

技术框架：GenRT基于编码器-解码器架构，包含重新排序和截断两个主要模块。模型首先对候选文档进行重新排序，然后动态确定截断点，以实现信息的有效提取。

关键创新：最重要的创新在于将重新排序和截断任务结合为一个联合模型，解决了传统方法中任务间的隔离问题，避免了错误累积。

关键设计：模型设计中引入了新颖的损失函数，以实现联合优化。此外，通过共享参数，充分利用了两个任务的共同建模信息，增强了模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在公共学习排名基准和开放域问答任务上的实验结果表明，GenRT模型在重新排序和截断任务上均实现了最先进的性能，相较于基线方法提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括网页搜索引擎、信息检索系统以及基于检索增强的生成模型。通过提高检索结果的准确性和相关性，能够显著提升用户体验，未来可能在智能助手和自动问答系统中发挥重要作用。

📄 摘要（原文）

The results of information retrieval (IR) are usually presented in the form of a ranked list of candidate documents, such as web search for humans and retrieval-augmented generation for large language models (LLMs). List-aware retrieval aims to capture the list-level contextual features to return a better list, mainly including reranking and truncation. Reranking finely re-scores the documents in the list. Truncation dynamically determines the cut-off point of the ranked list to achieve the trade-off between overall relevance and avoiding misinformation from irrelevant documents. Previous studies treat them as two separate tasks and model them separately. However, the separation is not optimal. First, it is hard to share the contextual information of the ranking list between the two tasks. Second, the separate pipeline usually meets the error accumulation problem, where the small error from the reranking stage can largely affect the truncation stage. To solve these problems, we propose a Reranking-Truncation joint model (GenRT) that can perform the two tasks concurrently. GenRT integrates reranking and truncation via generative paradigm based on encoder-decoder architecture. We also design the novel loss functions for joint optimization to make the model learn both tasks. Sharing parameters by the joint model is conducive to making full use of the common modeling information of the two tasks. Besides, the two tasks are performed concurrently and co-optimized to solve the error accumulation problem between separate stages. Experiments on public learning-to-rank benchmarks and open-domain Q\&A tasks show that our method achieves SOTA performance on both reranking and truncation tasks for web search and retrieval-augmented LLMs.