Towards Monotonic Improvement in In-Context Reinforcement Learning

📄 arXiv: 2509.23209v1 📥 PDF

作者: Wenhao Zhang, Shao Zhang, Xihuai Wang, Yang Li, Ying Wen

分类: cs.LG, cs.AI

发布日期: 2025-09-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出上下文价值引导的ICRL方法，解决ICRL中单调改进的难题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 上下文强化学习 ICRL 上下文价值 单调改进 强化学习 序列模型 上下文歧义

📋 核心要点

  1. ICRL模型在测试时无法像训练数据那样持续改进，存在“上下文歧义”问题，即模型自身动作可能产生误导性的历史。
  2. 提出CV-ICRL，利用上下文价值作为显式信号，表示策略在当前上下文中可实现的理想性能，指导策略学习。
  3. 在Dark Room和Minigrid等环境的实验表明，CV-ICRL能有效缓解性能下降，提升ICRL能力。

📝 摘要（中文）

上下文强化学习(ICRL)作为一种新兴范式，通过利用过去的经验作为上下文，无需更新参数即可快速适应新任务。最近的方法训练大型序列模型，利用在线强化学习中的单调策略改进数据，旨在实现持续改进的测试时性能。然而，我们的实验分析揭示了一个关键缺陷：这些模型在测试时无法像训练数据那样表现出持续的改进。理论上，我们将这种现象识别为上下文歧义，即模型自身随机动作可能产生一种交互历史，错误地类似于训练数据中次优策略的交互历史，从而引发不良动作选择的恶性循环。为了解决上下文歧义，我们引入了上下文价值到训练阶段，并提出了上下文价值引导的ICRL(CV-ICRL)。CV-ICRL使用上下文价值作为显式信号，表示理论上策略在当前上下文中可实现的理想性能。随着上下文的扩展，上下文价值可以包含更多与任务相关的信息，因此理想的性能应该是单调不减的。我们证明了上下文价值收紧了相对于理想的、单调改进策略的性能差距的下界。我们进一步提出了两种在训练和测试时估计上下文价值的方法。在Dark Room和Minigrid测试平台进行的实验表明，CV-ICRL有效地缓解了性能下降，并提高了各种任务和环境中的整体ICRL能力。

🔬 方法详解

问题定义：ICRL旨在通过上下文学习快速适应新任务，但现有方法在测试时无法保证单调的性能改进。主要痛点在于“上下文歧义”，即模型自身的随机探索可能产生与次优策略相似的交互历史，导致模型误判并选择次优动作，从而陷入性能下降的循环。

核心思路：CV-ICRL的核心思路是通过引入“上下文价值”来缓解上下文歧义。上下文价值代表了在给定当前上下文情况下，策略理论上可以达到的最佳性能。通过将上下文价值作为显式的指导信号，模型可以更好地理解当前状态的潜在价值，从而避免被误导性的交互历史所迷惑，选择更优的动作。

技术框架：CV-ICRL的整体框架包括以下几个主要阶段：1) 数据收集：使用在线强化学习算法收集交互数据，包括状态、动作、奖励等。2) 上下文价值估计：在训练和测试阶段，分别使用不同的方法估计上下文价值。3) 模型训练：使用收集到的数据和估计的上下文价值训练ICRL模型。4) 策略执行：在测试环境中，ICRL模型根据当前上下文和估计的上下文价值选择动作。

关键创新：CV-ICRL的关键创新在于引入了上下文价值的概念，并将其作为显式的指导信号用于ICRL模型的训练。与现有方法相比，CV-ICRL能够更好地理解当前状态的潜在价值，从而避免被误导性的交互历史所迷惑，选择更优的动作。此外，论文还提出了两种估计上下文价值的方法，分别适用于训练和测试阶段。

关键设计：论文提出了两种估计上下文价值的方法。在训练阶段，使用TD learning来估计上下文价值。在测试阶段，使用一个简单的启发式方法，即根据当前上下文中的奖励来估计上下文价值。损失函数的设计目标是使模型的输出动作能够最大化累积奖励，同时与上下文价值保持一致。具体的网络结构未知。

📊 实验亮点

实验结果表明，CV-ICRL在Dark Room和Minigrid等环境中能够有效缓解性能下降，并提高整体ICRL能力。具体性能数据和提升幅度未知，但论文强调CV-ICRL能够更好地适应各种任务和环境。

🎯 应用场景

该研究成果可应用于机器人控制、游戏AI、自动驾驶等领域，尤其适用于需要在未知或快速变化环境中进行决策的任务。通过利用历史经验和上下文信息，CV-ICRL能够帮助智能体快速适应新任务，提高决策效率和性能，降低人工干预的需求，具有重要的实际应用价值和潜力。

📄 摘要（原文）

In-Context Reinforcement Learning (ICRL) has emerged as a promising paradigm for developing agents that can rapidly adapt to new tasks by leveraging past experiences as context, without updating their parameters. Recent approaches train large sequence models on monotonic policy improvement data from online RL, aiming to a continue improved testing time performance. However, our experimental analysis reveals a critical flaw: these models cannot show a continue improvement like the training data during testing time. Theoretically, we identify this phenomenon as Contextual Ambiguity, where the model's own stochastic actions can generate an interaction history that misleadingly resembles that of a sub-optimal policy from the training data, initiating a vicious cycle of poor action selection. To resolve the Contextual Ambiguity, we introduce Context Value into training phase and propose Context Value Informed ICRL (CV-ICRL). CV-ICRL use Context Value as an explicit signal representing the ideal performance theoretically achievable by a policy given the current context. As the context expands, Context Value could include more task-relevant information, and therefore the ideal performance should be non-decreasing. We prove that the Context Value tightens the lower bound on the performance gap relative to an ideal, monotonically improving policy. We fruther propose two methods for estimating Context Value at both training and testing time. Experiments conducted on the Dark Room and Minigrid testbeds demonstrate that CV-ICRL effectively mitigates performance degradation and improves overall ICRL abilities across various tasks and environments. The source code and data of this paper are available at https://github.com/Bluixe/towards_monotonic_improvement .