LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation
作者: Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang
分类: cs.LG, cs.AI
发布日期: 2026-08-12
备注: 15 pages, 8 figures
💡 一句话要点
提出LoongReflect以解决长远反思在搜索代理中的挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长远反思 记忆控制 强化学习 轨迹树 多跳检索 数学推理 智能代理
📋 核心要点
- 现有方法在长远反思中面临局部与全局不匹配的问题，导致反思决策的监督稀疏且延迟。
- LoongReflect通过将反思视为记忆控制策略，结合快速和慢速通道的协调机制来优化反思和回溯决策。
- 实验结果显示，LoongReflect在多个基准测试中超越了传统的强化学习方法，提升了任务成功率。
📝 摘要（中文）
大型语言模型代理越来越依赖长远推理来解决涉及规划、工具使用和记忆的复杂任务。在这些设置中，反思是一项关键能力，能够评估轨迹进展、识别缺失证据和不可靠的中间状态，并决定是否继续、修订或放弃当前分支。然而，反思的学习具有挑战性，因为反思是在当前分支内局部执行的，而其效用只能通过对最终轨迹结果的贡献来确定。为了解决这些问题，本文提出了LoongReflect，一个将反思形式化为记忆控制策略的训练框架。该代理在可逆轨迹树上操作，使用显式的反思和回溯动作。实验表明，LoongReflect在多跳检索增强生成和数学推理基准上相较于仅基于结果的强化学习和自蒸馏基线表现出一致的提升。
🔬 方法详解
问题定义：本文旨在解决长远反思在搜索代理中的局部与全局不匹配问题，现有方法在反思决策上提供的监督稀疏且延迟，影响了最终结果的有效性。
核心思路：LoongReflect将反思定义为一种记忆控制策略，通过显式的反思和回溯动作来优化代理的决策过程，从而提高反思的有效性和准确性。
技术框架：该框架包括一个可逆的轨迹树结构，代理在此结构上执行反思和回溯操作。快速通道用于从特权教师中提取全局信息，而慢速通道则通过基于结果的GRPO优化完整轨迹。
关键创新：LoongReflect的主要创新在于其双通道协调机制，能够有效结合全局信息与局部决策，从而克服传统方法的局限性。
关键设计：在设计中，反思和回溯的监督仅限于特定的标记，损失函数通过结合局部控制决策与最终任务成功进行优化，确保了反思策略的有效学习。
🖼️ 关键图片
📊 实验亮点
在多跳检索增强生成和数学推理基准测试中，LoongReflect相较于传统的结果导向强化学习和自蒸馏基线，表现出显著的性能提升，具体提升幅度达到了XX%（具体数据未知）。
🎯 应用场景
LoongReflect的研究成果在复杂任务的自动化解决方案中具有广泛的应用潜力，尤其是在需要长远推理和决策的领域，如智能助手、自动驾驶和机器人导航等。通过提升反思能力，代理能够更有效地处理复杂的任务和环境，未来可能推动智能系统的进一步发展。
📄 摘要（原文）
Large language model agents increasingly rely on long-horizon reasoning to solve complex tasks involving planning, tool use, and memory. A critical capability in such settings is reflection: assessing trajectory progress, identifying missing evidence and unreliable intermediate states, and deciding whether to continue, revise, or abandon the current branch. Learning effective reflection, however, is challenging because reflection is performed locally within the current branch, whereas its utility can only be determined by its contribution to the final trajectory outcome. This local-global mismatch makes outcome-based reinforcement learning provide only local, sparse and delayed supervision for reflective decisions. To solve these, we propose LoongReflect, a training framework that formulates reflection as a memory-control policy. The agent operates over a reversible trajectory tree using explicit reflect and backtrack actions. Reflection consolidates verified facts, missing evidence, and branch-specific risks into working memory, while backtracking removes an unreliable branch from the active context and preserves a concise corrective lesson. To learn this policy, LoongReflect combines two complementary signals through a look-ahead, extragradient-style coordination mechanism. A fast channel distills globally informed reflective behavior from a privileged teacher, with supervision restricted to reflection and backtracking tokens. A slow channel optimizes complete trajectories using outcome-based GRPO, aligning local control decisions with final task success. Experiments on multi-hop retrieval-augmented generation and mathematical reasoning benchmarks demonstrate consistent improvements over outcome-only reinforcement learning and self-distillation baselines.