Observation-Grounded Self-Predictive Reinforcement Learning for Visual Continuous Control

📄 arXiv: 2608.05989v1 📥 PDF

作者: Xinwei Liu, Junyuan Liang, Jianting Zhang, Wuhui Chen

分类: cs.LG, cs.RO

发布日期: 2026-08-06

💡 一句话要点

提出观察基础自预测强化学习以解决视觉连续控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉控制 强化学习 自预测 观察预测 样本效率 动态表示学习 机器人控制

📋 核心要点

  1. 现有的基于动态的表示学习方法在样本效率上有所提升，但在复杂视觉控制任务中仍然面临挑战，尤其是在训练数据有限的情况下。
  2. 本文提出OG-SPR算法，通过结合多步潜在自预测和下一个观察预测，学习在潜在空间中具有时间预测性的表示，并与观察级动态相结合。
  3. 在28个视觉控制任务的实验中，OG-SPR的整体性能优于现有的自预测和观察预测方法，尤其在复杂任务中表现出显著提升。

📝 摘要（中文）

从像素中高效学习策略是强化学习中的长期挑战。尽管基于动态的表示学习方法通过辅助预测显著提高了无模型视觉强化学习的样本效率，但在有限训练数据的情况下，现有方法仍在复杂的视觉控制任务上表现不佳。本文提出观察基础自预测表示（OG-SPR），一种无模型视觉强化学习算法，旨在学习在潜在空间中具有时间预测性的表示，并与观察级动态相结合。OG-SPR结合了多步潜在自预测和下一个观察预测两个核心辅助目标。实验表明，OG-SPR在28个来自DeepMind控制套件的视觉控制任务上，整体性能优于现有自预测和观察预测的强化学习方法，尤其在复杂领域如狗和人形机器人中表现突出。

🔬 方法详解

问题定义：本文旨在解决在有限训练数据下，现有视觉强化学习方法在复杂控制任务中的性能不足。现有方法往往依赖单一的预测目标，导致学习效果不佳。

核心思路：OG-SPR通过结合观察预测和潜在自预测，旨在同时提高表示的时间可预测性和观察级动态的基础性，从而增强学习效果。

技术框架：OG-SPR的整体架构包括两个主要模块：多步潜在自预测和下一个观察预测。通过这两个模块，算法能够在潜在空间和观察空间中进行有效的表示学习。

关键创新：OG-SPR的创新在于引入了轻量级适配器，使得共享表示能够在不被强制满足自预测目标的情况下，仍然受益于时间预测信号。这一设计与现有方法的本质区别在于对潜在表示的约束方式。

关键设计：在参数设置上，OG-SPR采用了轻量级适配器来实现潜在自预测，避免了对共享表示的过度约束。损失函数设计上，结合了多步预测和观察预测的损失，以平衡两者的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OG-SPR在28个视觉控制任务中的实验结果显示，整体性能优于现有的自预测和观察预测方法，特别是在复杂任务如狗和人形机器人中，性能提升幅度显著，展示了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要高效决策的视觉任务。通过提高样本效率，OG-SPR能够在数据稀缺的环境中实现更好的控制性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Sample-efficient policy learning from pixels is a long-standing challenge in reinforcement learning (RL). Recent dynamics-based representation learning methods have significantly improved the sample efficiency of model-free visual RL by learning dynamics-aware representations through auxiliary prediction performed either in latent space (self-prediction) or observation space (observation prediction). However, state-of-the-art methods from both categories still struggle on challenging visual control tasks when training data is limited. We posit that relying on either predictive objective alone may be insufficient. In contrast, observation prediction grounds learned representations in observation-level dynamics, but does not directly regularize the temporal predictability of latent representations over extended horizons. In this paper, we propose Observation-Grounded Self-Predictive Representations (OG-SPR), a model-free visual RL algorithm for continuous control that learns representations that are both temporally predictive in latent space and grounded in observation-level dynamics. OG-SPR incorporates two core auxiliary objectives: multi-step latent self-prediction and next-observation prediction. We empirically show that directly imposing latent self-prediction on the shared representation may over-constrain it and does not necessarily improve performance. To address this issue, OG-SPR introduces two lightweight adapters for latent self-prediction, allowing the shared representation to benefit from temporally predictive signals without being forced to directly satisfy the self-prediction objective. Experiments on 28 visual control tasks from the DeepMind Control Suite show that OG-SPR improves aggregate performance over state-of-the-art self-predictive and observation-predictive RL methods, with particularly pronounced gains in challenging domains such as dog and humanoid.