Temporal Preference Optimization for Unsupervised Retrieval

📄 arXiv: 2606.17664v1 📥 PDF

作者: HyunJin Kim, Jaejun Shim, Young Jin Kim, JinYeong Bak

分类: cs.IR, cs.AI

发布日期: 2026-06-16

备注: Accepted to ICML 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出TPOUR以解决无监督检索中的时间相关性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无监督检索 时间相关性 对比学习 文档检索 信息检索 时间嵌入 偏好学习

📋 核心要点

  1. 现有无监督检索方法在处理跨时间段文档时，无法有效捕捉时间相关性，导致检索结果的时间歧义。
  2. 本文提出TPOUR，通过时间检索偏好优化（TRPO）方法，引导检索器优先选择时间上对齐的文档，提升检索效果。
  3. 实验结果表明，TPOUR在时间信息检索任务中，较现有基线方法在nDCG@5上有显著提升，验证了其有效性。

📝 摘要（中文）

无监督密集检索器通过对比学习从未标记文档中学习语义相似性，但在捕捉时间相关性方面存在困难，导致检索到语义相关但时间不一致的文档。现有方法依赖于带有显式时间戳的监督训练，而这并不总是可行。本文提出了TPOUR（无监督检索器的时间偏好优化），采用新颖的训练方法时间检索偏好优化（TRPO），重新解释时间维度的偏好学习，引导检索器偏向时间对齐的文档。TPOUR还通过在学习的时间嵌入中进行插值，进一步推广到未见时间段，实现连续的时间对齐。在时间信息检索（T-IR）实验中，TPOUR超越了无监督和监督基线。

🔬 方法详解

问题定义：本文旨在解决无监督检索器在处理时间相关文档时的不足，现有方法依赖于显式时间戳的监督训练，无法适应多时间段的文档集合。

核心思路：提出TPOUR，通过TRPO方法重新定义时间维度的偏好学习，使检索器能够优先选择时间上对齐的文档，从而减少时间歧义。

技术框架：TPOUR的整体架构包括数据预处理、时间嵌入学习、偏好优化和检索模块。首先对文档进行时间标记，然后通过TRPO优化检索器的偏好，最后进行文档检索。

关键创新：最重要的创新在于TRPO方法的提出，它将时间维度的偏好学习与无监督检索结合起来，显著提升了检索器的时间对齐能力。

关键设计：在设计中，采用了新的损失函数来优化时间偏好，使用了学习的时间嵌入进行插值，以实现对未见时间段的推广。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TPOUR在时间信息检索任务中，较无监督和监督基线方法在nDCG@5上分别提升了4.04（+12.15%）和4.98（+15.21%），尽管其模型规模约为Qwen-Embedding-8B的72.7倍更小，展现出优越的性能。

🎯 应用场景

该研究在信息检索、推荐系统和文档管理等领域具有广泛的应用潜力。通过提高检索结果的时间相关性，TPOUR能够帮助用户更准确地获取所需信息，尤其是在历史数据分析和时间敏感的查询场景中，具有重要的实际价值和影响。

📄 摘要（原文）

Unsupervised dense retrievers offer scalability by learning semantic similarity from unlabeled documents via contrastive learning, but they struggle to capture the temporal relevance, retrieving semantically related but temporally misaligned documents-an important aspect when a document collection spans multiple time periods (e.g., retrieving documents from 2018-2025 for "Who is the president in 2019?" introduces temporal ambiguity). Existing methods rely on supervised training with explicit timestamps, which are not always feasible. We propose TPOUR (Temporal Preference Optimization for Unsupervised Retriever), which uses our novel training method Temporal Retrieval Preference Optimization (TRPO). TRPO reinterprets preference learning in the temporal dimension, guiding the retriever to favor temporally aligned documents. TPOUR further generalizes to unseen time periods via interpolation in a learned time embedding, enabling continuous temporal alignment. Experiments on temporal information retrieval (T-IR), TPOUR outperforms both unsupervised and supervised baselines. Compared to Qwen-Embedding-8B, despite being about 72.7x smaller, TPOUR Contriever improves average nDCG@5 by +4.04 (+12.15%) on explicit and +4.98 (+15.21%) on implicit queries. We provide our code at https://github.com/agwaBom/TPOUR.