Shift Before You Learn: Enabling Low-Rank Representations in Reinforcement Learning
作者: Bastien Dubail, Stefan Stojanovic, Alexandre Proutière
分类: cs.LG
发布日期: 2025-09-05 (更新: 2025-11-05)
备注: 63 pages, 11 figures. Accepted to NeurIPS 2025 (Spotlight)
💡 一句话要点
提出基于转移后继测度的低秩强化学习方法，提升目标条件强化学习性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 低秩表示 后继测度 目标条件强化学习 谱可恢复性 马尔可夫链 转移学习
📋 核心要点
- 现有免奖励和目标条件强化学习方法假设后继测度具有低秩结构，但实际后继测度并非近似低秩。
- 论文提出转移后继测度的概念，证明低秩结构在转移后的后继测度中自然出现，从而绕过初始转移。
- 实验验证了该方法的有效性，表明转移后继测度能够提高目标条件强化学习的性能。
📝 摘要（中文）
许多现代强化学习算法都隐含地假设了低秩结构。例如，免奖励和目标条件强化学习方法通常假定后继测度允许低秩表示。本文挑战了这一假设，首先指出后继测度本身并非近似低秩的。相反，我们证明了低秩结构自然出现在转移后的后继测度中，该测度捕获了绕过一些初始转移后的系统动态。我们为从采样条目中对转移后继测度的低秩近似进行逐条目估计提供了有限样本性能保证。我们的分析表明，近似误差和估计误差主要受一个新引入的量控制：相应矩阵的谱可恢复性。为了限制这个参数，我们为马尔可夫链推导了一类新的函数不等式，我们称之为II型庞加莱不等式，由此我们可以量化有效低秩近似和估计所需的转移量。该分析特别表明，所需的转移取决于转移后继测度的高阶奇异值的衰减，因此在实践中通常很小。此外，我们建立了必要转移与底层动力系统的局部混合特性之间的联系，这提供了一种选择转移的自然方法。最后，我们通过实验验证了我们的理论结果，并证明转移后继测度确实可以提高目标条件强化学习的性能。
🔬 方法详解
问题定义：现有强化学习算法，特别是免奖励和目标条件强化学习，通常假设后继测度具有低秩结构，以便进行有效的学习和泛化。然而，直接使用原始后继测度进行低秩近似往往效果不佳，因为原始后继测度本身并不具备近似低秩的性质。这限制了这些算法的性能和适用性。
核心思路：论文的核心思路是，虽然原始后继测度不具备低秩性，但经过一定步数的转移（shift）后得到的转移后继测度，会呈现出更明显的低秩结构。通过对转移后的后继测度进行低秩近似，可以更有效地学习和表示环境的动态特性。这样做的原因是，初始状态可能包含噪声或不相关的信息，而经过转移后，系统会逐渐稳定到更具代表性的状态，从而使得后继测度的秩降低。
技术框架：该方法主要包含以下几个阶段： 1. 采样：从环境中收集状态转移样本。 2. 转移：对收集到的样本进行一定步数的转移，得到转移后的状态转移样本。 3. 后继测度估计：利用转移后的样本估计转移后继测度。 4. 低秩近似：对估计得到的转移后继测度进行低秩近似。 5. 策略学习：利用低秩近似的后继测度进行策略学习，例如使用目标条件强化学习算法。
关键创新：该论文的关键创新在于提出了“转移后继测度”的概念，并证明了其低秩性。此外，论文还提出了一个新的度量指标“谱可恢复性”，用于衡量转移后继测度的低秩近似效果。论文还推导了II型庞加莱不等式，用于量化有效低秩近似和估计所需的转移量，并建立了转移量与底层动力系统的局部混合特性之间的联系。
关键设计： 1. 转移步数选择：论文通过分析转移后继测度的高阶奇异值的衰减情况，以及底层动力系统的局部混合特性，来指导转移步数的选择。 2. 低秩近似方法：可以使用标准的低秩矩阵分解方法，如奇异值分解（SVD）或核范数最小化，对转移后继测度进行低秩近似。 3. 谱可恢复性度量：使用谱可恢复性来评估低秩近似的质量，并作为调整转移步数的依据。
📊 实验亮点
实验结果表明，通过转移后继测度进行低秩近似，可以显著提高目标条件强化学习的性能。具体而言，在多个目标条件强化学习任务中，使用转移后继测度的方法相比于直接使用原始后继测度的方法，能够更快地学习到最优策略，并达到更高的累积奖励。实验还验证了理论分析的正确性，即转移步数的选择与转移后继测度的低秩性和谱可恢复性密切相关。
🎯 应用场景
该研究成果可应用于各种需要高效状态表示和泛化的强化学习任务中，尤其是在目标条件强化学习、机器人导航、游戏AI等领域具有潜力。通过利用转移后继测度的低秩特性，可以降低算法的计算复杂度，提高学习效率，并增强策略的泛化能力，从而实现更智能、更高效的智能体。
📄 摘要（原文）
Low-rank structure is a common implicit assumption in many modern reinforcement learning (RL) algorithms. For instance, reward-free and goal-conditioned RL methods often presume that the successor measure admits a low-rank representation. In this work, we challenge this assumption by first remarking that the successor measure itself is not approximately low-rank. Instead, we demonstrate that a low-rank structure naturally emerges in the shifted successor measure, which captures the system dynamics after bypassing a few initial transitions. We provide finite-sample performance guarantees for the entry-wise estimation of a low-rank approximation of the shifted successor measure from sampled entries. Our analysis reveals that both the approximation and estimation errors are primarily governed by a newly introduced quantitity: the spectral recoverability of the corresponding matrix. To bound this parameter, we derive a new class of functional inequalities for Markov chains that we call Type II Poincaré inequalities and from which we can quantify the amount of shift needed for effective low-rank approximation and estimation. This analysis shows in particular that the required shift depends on decay of the high-order singular values of the shifted successor measure and is hence typically small in practice. Additionally, we establish a connection between the necessary shift and the local mixing properties of the underlying dynamical system, which provides a natural way of selecting the shift. Finally, we validate our theoretical findings with experiments, and demonstrate that shifting the successor measure indeed leads to improved performance in goal-conditioned RL.