HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation

📄 arXiv: 2606.11559v1 📥 PDF

作者: Haoran Liu, Yuwei Zhang, Xiyao Li, Bohan Lyu, Jingbo Shang

分类: cs.AI

发布日期: 2026-06-10

💡 一句话要点

提出HERO框架以解决多回合强化学习中的反馈对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自蒸馏 多回合决策 环境观察 反馈对齐 智能体学习 任务成功率 局部对齐

📋 核心要点

  1. 现有的自蒸馏方法在多回合设置中扩展时，反馈对齐不足导致性能下降。
  2. HERO框架通过使用环境观察作为反馈，提供局部对齐的自蒸馏机制，提升决策质量。
  3. 在TauBench和WebShop实验中，HERO显著提高了任务成功率，并减少了不必要的回合，尤其在有限训练回合预算下表现优异。

📝 摘要（中文）

强化学习通常通过轨迹的最终结果来提升多回合智能体的能力，这使得难以确定每个中间回合的信用分配。近期的自蒸馏方法通过自教师将特权反馈转化为密集的标记级监督。然而，当将这一范式简单扩展到多回合设置时，出现了意想不到的性能下降。我们提出HERO框架，利用下一环境观察作为局部对齐反馈，在每次回合后反思完成的交互，将每个观察转化为紧凑的回合级诊断，捕捉关于原始动作的可操作反馈。在TauBench和WebShop上，HERO提升了任务成功率并减少了不必要的回合，尤其在训练回合预算有限的情况下表现突出。

🔬 方法详解

问题定义：论文要解决的问题是多回合强化学习中反馈对齐不足导致的性能下降。现有方法在扩展至多回合时，特权反馈与当前决策上下文之间缺乏一致性，影响了学习效果。

核心思路：HERO框架的核心思路是利用下一环境观察作为局部对齐的反馈，通过反思已完成的交互，将观察转化为紧凑的回合级诊断，从而提供更有效的学习信号。

技术框架：HERO的整体架构包括多个模块：首先，智能体在环境中进行回合交互；其次，收集下一环境观察并进行反思；最后，将观察转化为回合级反馈，供自蒸馏使用。

关键创新：HERO的主要创新在于引入了基于环境观察的局部对齐反馈机制，这与传统的基于终端结果的反馈方法本质上不同，能够更好地适应多回合决策的复杂性。

关键设计：在技术细节上，HERO设计了特定的损失函数来优化反馈的有效性，并采用了紧凑的网络结构以提高计算效率，确保在有限的训练回合预算下仍能获得良好的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在TauBench和WebShop的实验中，HERO框架显著提高了任务成功率，并减少了不必要的回合。与环境反馈自蒸馏和GRPO相比，HERO在有限训练回合预算下表现尤为突出，展示了更强的学习能力和适应性。

🎯 应用场景

HERO框架的潜在应用场景包括复杂的多回合决策任务，如对话系统、游戏AI和机器人控制等领域。其通过提升智能体的学习效率和决策质量，能够在实际应用中显著提高任务成功率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning typically improves multi-turn agent capabilities through the terminal outcome of the trajectories, which makes it difficult to determine credit assignments for each intermediate turns. Recent on-policy self-distillation methods offer a promising alternative by converting privileged feedback into dense token-level supervision through a self-teacher. Our study is motivated by the unexpected performance degradation observed when naively extending this paradigm to multi-turn settings, which we attribute to a lack of alignment between privileged feedback, such as successful trajectories or terminal outcomes, and the student's current decision context. We introduce HERO, a hindsight-enhanced self-distillation framework that uses next environment observations as locally aligned feedback. After each rollout, HERO reflects on the completed interaction to convert each observation into a compact turn-level diagnosis, that captures actionable feedback about the original action such as its necessity, validity or failure cause. On TauBench and WebShop, HERO improves task success and reduces unnecessary turns over environment-feedback-only self-distillation and GRPO. It is especially effective under limited training turn budgets, where successful rollouts are rare and GRPO provides weak reward-contrast signals.