Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis

📄 arXiv: 2608.07228v1 📥 PDF

作者: Idil Gözel

分类: cs.LG, math.OC

发布日期: 2026-08-07

备注: 26 pages, 4 figures. Code and data: https://github.com/idilgozel/belief-critic-restoration

💡 一句话要点

提出闭式分析以解决部分可观测性下的学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 部分可观测性 闭式分析 策略学习 价值估计 演员-评论家算法 机器人控制

📋 核心要点

  1. 现有强化学习方法在部分可观测环境中，往往将学习效果不佳归因于策略的表达能力不足。
  2. 论文提出通过闭式分析，揭示学习过程中的偏差是导致策略表现不佳的主要原因，而非策略本身的限制。
  3. 实验结果显示，调整学习者的前瞻性可以显著改善策略性能，且过去观察的记忆并未带来帮助。

📝 摘要（中文）

当强化学习代理无法观察完整状态时，通常会将问题归咎于其策略。然而，本研究表明，问题的根源在于学习过程本身。我们研究了一个部分可观测的线性-二次问题，发现即使代理能够表示接近最优的策略，学习仍然会停留在一个更差的策略上。我们推导出导致这一现象的原因，并提出了通过调整学习者的前瞻性来消除这一问题的设计选择。深度强化学习实验验证了我们的理论预测。

🔬 方法详解

问题定义：本研究旨在解决部分可观测环境下强化学习代理学习效果不佳的问题。现有方法通常将问题归咎于策略的表达能力不足，但实际上，学习过程中的偏差才是主要原因。

核心思路：论文的核心思路是通过闭式分析，揭示学习过程中的偏差如何影响策略的学习。具体而言，代理无法将观察到的信息归因于未观察到的状态部分，导致价值评估的误读。

技术框架：研究采用了部分可观测的线性-二次问题作为模型，使用标准的演员-评论家算法进行学习。通过推导闭式表达式，分析学习过程中的偏差及其对策略的影响。

关键创新：最重要的技术创新在于识别出学习过程中的偏差源自评论家对价值估计的误读，而非演员的表达能力限制。这一发现与现有方法的本质区别在于关注学习过程本身。

关键设计：关键设计包括如何设置学习者的前瞻性，即在多大程度上信任自己的价值估计。通过调整这一参数，可以显著改善学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在默认设置下，代理学习到的策略比最佳策略差35%，而最佳策略的成本仅比理想控制器高10.4%。通过调整学习者的前瞻性，能够有效改善策略性能，验证了理论分析的准确性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能决策系统等。在这些领域中，代理常常面临部分可观测的环境，理解学习过程中的偏差将有助于提升系统的决策能力和效率。未来，该研究可能推动更高效的强化学习算法的发展，改善实际应用中的表现。

📄 摘要（原文）

When a reinforcement learning agent cannot observe the full state, we usually blame its policies: it cannot see enough to represent a good one. We show that in a solvable case the bigger problem lies elsewhere. Even when a good policy is available and the agent's value function is expressive enough to describe it exactly, learning still ends up somewhere far worse. We study a partially observed linear-quadratic problem in which a standard actor-critic learner can be solved in closed form. At our default setting the best policy the agent can represent is already close to optimal, costing 10.4% more than the ideal controller that observes everything. Learning does not find it. The algorithm instead comes to rest at a policy that is 35% worse than the best one available to it, and we can say exactly where and why. The cause is a bias in what the critic learns rather than a limit on what the actor can express. Because the agent cannot attribute what it sees to the part of the state it cannot observe, the critic misreads that unexplained variation as sharp curvature in its own value estimates, and the actor follows that error away from the optimum. We derive closed-form expressions for the resulting policy, for its cost, and for the one design choice that removes the problem, which is how far the learner looks ahead before trusting its own value estimates. Deep reinforcement learning experiments follow these predictions closely. Notably, giving the agent memory of past observations does not help, while changing how far it looks ahead does.