Informed Asymmetric Actor-Critic: Leveraging Privileged Signals Beyond Full-State Access

📄 arXiv: 2509.26000v1 📥 PDF

作者: Daniel Ebi, Gaspard Lambrechts, Damien Ernst, Klemens Böhm

分类: cs.LG, stat.ML

发布日期: 2025-09-30

备注: 15 pages, 21 pages total

💡 一句话要点

提出Informed Asymmetric Actor-Critic，利用特权信号提升部分可观测环境下的强化学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 非对称Actor-Critic 部分可观测环境 特权信息 策略梯度

📋 核心要点

  1. 现有非对称Actor-Critic方法依赖于训练时对完整状态的访问，限制了其在实际部分可观测环境中的应用。
  2. Informed Asymmetric Actor-Critic允许Critic以任意特权信号为条件，无需访问完整状态，扩展了非对称方法的适用范围。
  3. 实验表明，该方法在基准导航任务和合成环境中提高了学习效率和价值估计，验证了其有效性。

📝 摘要（中文）

在部分可观测环境中，强化学习智能体需要在噪声和不完整观测的不确定性下行动。非对称Actor-Critic方法利用训练时的特权信息来改善这种情况下的学习。然而，现有方法通常假设训练时可以访问完整状态。本文挑战了这一假设，提出了一种新的Actor-Critic框架，称为Informed Asymmetric Actor-Critic，它允许Critic以任意特权信号为条件，而无需访问完整状态。我们证明了在这种公式下，策略梯度仍然是无偏的，从而将非对称方法的理论基础扩展到更一般的特权部分信息的情况。为了量化这些信号的影响，我们提出了基于核方法和回报预测误差的信息性度量，为评估训练时信号提供了实用工具。我们在基准导航任务和合成部分可观测环境中验证了我们的方法，表明当存在信息丰富的特权输入时，我们的Informed Asymmetric方法提高了学习效率和价值估计。我们的发现挑战了完整状态访问的必要性，并为设计既实用又理论上合理的非对称强化学习方法开辟了新的方向。

🔬 方法详解

问题定义：现有非对称Actor-Critic方法通常假设在训练阶段可以访问完整的状态信息，这在许多实际应用中是不现实的，因为智能体只能获得部分观测。因此，如何利用部分特权信息来提升强化学习的性能，同时避免对完整状态的依赖，是一个亟待解决的问题。现有方法无法有效利用这些部分特权信息，导致学习效率低下或性能受限。

核心思路：本文的核心思路是允许Critic网络以任意的特权信号作为输入，而无需访问完整的状态信息。通过这种方式，Critic可以利用这些特权信号来更准确地评估状态价值，从而指导Actor网络的策略学习。关键在于证明即使Critic只依赖于部分特权信息，策略梯度仍然是无偏的，从而保证学习的收敛性。

技术框架：Informed Asymmetric Actor-Critic框架包含一个Actor网络和一个Critic网络。Actor网络基于智能体的观测来选择动作，Critic网络则基于观测和特权信号来评估状态价值。在训练过程中，Critic网络利用特权信号来学习更准确的价值函数，然后将这些信息传递给Actor网络，从而改善策略学习。此外，论文还提出了信息性度量，用于评估不同特权信号的价值，从而指导信号的选择。

关键创新：最重要的技术创新点在于扩展了非对称Actor-Critic方法的理论基础，使其能够处理更一般的特权部分信息。传统方法要求Critic访问完整状态，而本文提出的方法允许Critic以任意特权信号为条件，从而打破了这一限制。此外，论文还提出了信息性度量，用于评估特权信号的价值，为信号选择提供了指导。

关键设计：论文的关键设计包括：1) 策略梯度公式的推导，证明了在部分特权信息下策略梯度仍然是无偏的；2) 基于核方法和回报预测误差的信息性度量，用于评估特权信号的价值；3) Actor和Critic网络的具体结构，可以根据具体任务进行调整；4) 损失函数的设计，用于训练Actor和Critic网络。

📊 实验亮点

实验结果表明，Informed Asymmetric Actor-Critic方法在基准导航任务和合成部分可观测环境中，显著提高了学习效率和价值估计的准确性。例如，在某些任务中，该方法能够比传统方法更快地达到相同的性能水平，并且能够学习到更准确的价值函数。此外，信息性度量能够有效地评估不同特权信号的价值，从而指导信号的选择。

🎯 应用场景

该研究成果可应用于各种部分可观测环境下的强化学习任务，例如机器人导航、自动驾驶、游戏AI等。在这些场景中，智能体通常只能获得部分观测信息，但可能存在一些额外的特权信号，例如地图信息、传感器数据等。通过利用这些特权信号，可以显著提高智能体的学习效率和性能，使其能够更好地适应复杂环境。

📄 摘要（原文）

Reinforcement learning in partially observable environments requires agents to act under uncertainty from noisy, incomplete observations. Asymmetric actor-critic methods leverage privileged information during training to improve learning under these conditions. However, existing approaches typically assume full-state access during training. In this work, we challenge this assumption by proposing a novel actor-critic framework, called informed asymmetric actor-critic, that enables conditioning the critic on arbitrary privileged signals without requiring access to the full state. We show that policy gradients remain unbiased under this formulation, extending the theoretical foundation of asymmetric methods to the more general case of privileged partial information. To quantify the impact of such signals, we propose informativeness measures based on kernel methods and return prediction error, providing practical tools for evaluating training-time signals. We validate our approach empirically on benchmark navigation tasks and synthetic partially observable environments, showing that our informed asymmetric method improves learning efficiency and value estimation when informative privileged inputs are available. Our findings challenge the necessity of full-state access and open new directions for designing asymmetric reinforcement learning methods that are both practical and theoretically sound.