INSTRUCTIR: A Benchmark for Instruction Following of Information Retrieval Models

📄 arXiv: 2402.14334v1 📥 PDF

作者: Hanseok Oh, Hyunji Lee, Seonghyeon Ye, Haebin Shin, Hansol Jang, Changwook Jun, Minjoon Seo

分类: cs.CL

发布日期: 2024-02-22

💡 一句话要点

提出INSTRUCTIR基准以解决信息检索模型指令跟随能力不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 用户意图 指令跟随 基准测试 模型评估 搜索优化 个性化推荐

📋 核心要点

  1. 现有信息检索模型在理解用户意图和搜索上下文方面存在显著不足，导致搜索结果与用户需求不匹配。
  2. 本文提出INSTRUCTIR基准，旨在通过用户对齐的指令评估信息检索模型的指令跟随能力，反映真实世界的搜索场景。
  3. 实验结果显示，经过指令微调的检索器在某些情况下表现不佳，提示了当前训练数据集的潜在过拟合问题。

📝 摘要（中文）

尽管对搜索目标与用户意图的对齐需求迫切，但现有检索模型往往仅关注查询信息，忽视用户的搜索上下文。为提升检索模型理解用户意图和偏好的能力，本文提出了INSTRUCTIR基准，专门用于评估信息检索任务中的指令跟随能力。该基准通过用户对齐的指令，反映真实搜索场景的多样性。实验结果表明，经过任务风格指令微调的检索器在性能上可能不及未微调的模型，揭示了现有指令感知检索数据集训练中的潜在过拟合问题。

🔬 方法详解

问题定义：本文旨在解决信息检索模型在理解用户意图和搜索上下文方面的不足，现有方法多局限于查询信息，缺乏对用户意图的深入理解。

核心思路：提出INSTRUCTIR基准，通过用户对齐的指令来评估检索模型的指令跟随能力，旨在提升模型对多样化搜索场景的适应性。

技术框架：INSTRUCTIR基准包含多个模块，首先生成用户对齐的指令，然后将其与查询实例结合，最后通过评估模型在这些指令下的表现来进行测试。

关键创新：最重要的创新在于引入了用户对齐的指令评估机制，突破了以往仅依赖任务描述的局限，能够更全面地反映检索模型的实际能力。

关键设计：在模型训练中，采用了特定的损失函数来优化指令跟随能力，并设计了适应不同查询的指令生成机制，以确保模型能够有效学习用户意图。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过INSTRUCTIR微调的检索器在某些任务上表现不如未微调的模型，揭示了潜在的过拟合问题。这一发现强调了在构建指令感知检索模型时需谨慎处理训练数据集的多样性与复杂性。

🎯 应用场景

该研究的潜在应用领域包括搜索引擎优化、个性化推荐系统和智能助手等。通过提升检索模型对用户意图的理解能力，可以显著改善用户体验，增强信息检索的准确性和相关性。未来，该基准可能推动信息检索领域的进一步研究和技术进步。

📄 摘要（原文）

Despite the critical need to align search targets with users' intention, retrievers often only prioritize query information without delving into the users' intended search context. Enhancing the capability of retrievers to understand intentions and preferences of users, akin to language model instructions, has the potential to yield more aligned search targets. Prior studies restrict the application of instructions in information retrieval to a task description format, neglecting the broader context of diverse and evolving search scenarios. Furthermore, the prevailing benchmarks utilized for evaluation lack explicit tailoring to assess instruction-following ability, thereby hindering progress in this field. In response to these limitations, we propose a novel benchmark,INSTRUCTIR, specifically designed to evaluate instruction-following ability in information retrieval tasks. Our approach focuses on user-aligned instructions tailored to each query instance, reflecting the diverse characteristics inherent in real-world search scenarios. Through experimental analysis, we observe that retrievers fine-tuned to follow task-style instructions, such as INSTRUCTOR, can underperform compared to their non-instruction-tuned counterparts. This underscores potential overfitting issues inherent in constructing retrievers trained on existing instruction-aware retrieval datasets.