Contextual Information Policy Optimization for Search Agents

📄 arXiv: 2608.06128v1 📥 PDF

作者: Xingyu Guo, Wei Chen, Linlin Yang, Baochang Zhang

分类: cs.AI

发布日期: 2026-08-06

💡 一句话要点

提出上下文信息策略优化以解决搜索代理的推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 搜索代理 强化学习 证据使用 推理优化 知识密集型任务

📋 核心要点

  1. 现有方法主要奖励最终答案的正确性，未能有效评估后续推理是否基于检索到的证据，导致确认偏差和低效的证据使用。
  2. 本文提出上下文信息策略优化（CIPO），通过强化学习框架将策略优化与外部证据的使用明确对齐，鼓励基于证据的推理。
  3. 在七个领域内和领域外的基准测试中，CIPO显著降低了基于先前知识的推理，且在大多数任务上表现优异。

📝 摘要（中文）

搜索代理通过在多步推理中获取和使用外部证据，扩展了大型语言模型的静态参数记忆。然而，现有方法主要关注最终答案的正确性或中间进展，而未直接评估后续推理是否基于检索到的证据。为了解决这一问题，本文提出了上下文信息策略优化（CIPO），这是一个以证据为导向的强化学习框架，明确将策略优化与外部证据的使用对齐。CIPO通过为受检索信息影响的推理行为分配密集的、逐轮的奖励，结合全局结果奖励，从而减少了基于先前知识的推理偏差。实验结果表明，CIPO在多个基准任务中表现优异，显著降低了先前驱动的推理现象。

🔬 方法详解

问题定义：本文旨在解决现有搜索代理在多步推理中未能有效利用外部证据的问题。现有方法往往只关注最终答案的正确性，导致推理过程中的确认偏差和低效证据使用。

核心思路：CIPO通过将策略优化与外部证据的使用对齐，鼓励代理在推理过程中依赖检索到的信息，而非仅仅确认内部知识。这样的设计旨在减少基于先前知识的推理偏差。

技术框架：CIPO的整体架构包括证据检索模块、推理模块和奖励机制。代理在每一步推理中获取外部证据，并根据这些证据进行推理，同时通过全局结果奖励和逐轮证据使用奖励来优化策略。

关键创新：CIPO的主要创新在于其明确的证据使用信号与全局结果奖励的结合，避免了传统方法中对最终答案的单一关注。这种设计使得推理过程更加依赖于外部证据，减少了确认偏差。

关键设计：CIPO采用逐轮奖励机制，针对每一步推理行为给予密集的奖励。此外，设计中不需要额外的人类过程注释或奖励模型，简化了训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CIPO在七个基准任务中表现优异，显著降低了基于先前知识的推理偏差。在大多数任务中，CIPO的性能超越了现有方法，展示了其在知识密集型任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、问答系统和知识图谱等。通过优化搜索代理的推理能力，能够提升系统在处理复杂或动态信息时的可靠性和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Search agents extend large language models beyond static parametric memory by enabling them to acquire and use ex ternal evidence during multi-step reasoning. For knowledge intensive tasks involving complex or evolving information, their reliability depends not only on retrieving relevant ev idence but also on using it to guide subsequent reasoning. However, existing methods primarily reward final-answer cor rectness or intermediate progress, without directly assessing whether post-retrieval actions are grounded in the retrieved evidence. This misalignment encourages prior-driven reason ing: agents form conclusions based on internal knowledge and use retrieval mainly to confirm them, resulting in confirma tion bias and inefficient evidenceuse.Toaddressthisissue, we propose Contextual Information Policy Optimization (CIPO), an evidence-oriented reinforcement learning framework that explicitly aligns policy optimization with external evidence use. CIPO assigns dense, turn-level credit to reasoning ac tions influenced by retrieved information, while combining this evidence-use signal with a global outcome reward to pre serveanswercorrectness.Withthismanner,CIPOdiscourages evidence-detached guesses and promotes reasoning trajecto ries in which retrieved facts can guide or revise subsequent reasoning. Importantly, CIPO requires neither human process annotations nor an additional reward model. Extensive exper iments on seven in-domain and out-of-domain benchmarks show that CIPO reduces the prevalence of prior-driven rea soning and achieves excellent performance on most tasks.