Direction-Conditioned Policies via Compositional Subgoal Scoring for Online Goal-Conditioned Reinforcement Learning

📄 arXiv: 2606.16515v1 📥 PDF

作者: Swaminathan S K, Damiya Gondha, Theyanesh Eswaramoorthy Rajahkrishnan, Aritra Hazra

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-06-15

备注: 17 pages, Accepted to the 2nd Workshop on Compositional Learning at ICML 2026 (Seoul, South Korea)

💡 一句话要点

提出方向条件策略以解决在线目标条件强化学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 目标条件强化学习 方向条件策略 子目标评分 在线学习 机器人控制 动态环境 信息共享

📋 核心要点

  1. 现有的在线目标条件强化学习方法在目标远离数据分布时表现不佳，无法有效利用几何信息。
  2. 本文提出方向条件策略（DCP），通过将目标到达分解为子目标评分和方向条件演员两个组件来优化学习过程。
  3. 在九个环境中，DCP在大多数最终指标上超越了对比强化学习，尤其在操作和障碍交互任务中表现出显著提升。

📝 摘要（中文）

Hamilton-Jacobi-Bellman理论表明，最优的目标条件动作仅依赖于当前状态下目标到达距离的梯度。然而，标准的在线目标条件强化学习方法仍然直接将演员与原始目标相联系，这在目标远离数据分布时几乎没有几何信息。为此，本文提出了方向条件策略（DCP），该方法将目标到达分解为两个组件，利用共享的InfoNCE表示进行联合训练。实验表明，DCP在多个环境中优于对比强化学习，尤其在操作和障碍交互任务上取得了显著提升。

🔬 方法详解

问题定义：本文旨在解决在线目标条件强化学习中，目标远离数据分布时信息不足的问题。现有方法直接依赖原始目标，导致学习效率低下。

核心思路：提出方向条件策略（DCP），将目标到达过程分解为两个部分：子目标评分和方向条件演员，从而提高学习的有效性和灵活性。

技术框架：DCP的整体架构包括两个主要模块：子目标评分模块用于选择与最终目标对齐的已访问状态，方向条件演员模块则利用当前状态到子目标的方向和幅度进行决策。

关键创新：DCP的创新在于将目标条件动作的学习过程分解为两个相互关联的部分，使得在部署时可以简化为仅保留方向条件，而去除子目标评分，提升了模型的灵活性和可扩展性。

关键设计：在模型设计中，使用InfoNCE表示来共享信息，确保在训练和部署时演员的输入一致性，同时设定了适当的损失函数以优化学习过程。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DCP在九个不同环境中大多数最终指标上超过了对比强化学习，尤其在操作和障碍交互任务中，性能提升幅度显著，表明该方法在复杂任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等场景，能够有效提升系统在复杂环境中的目标导向能力。未来，DCP方法可能会在多种动态环境中发挥重要作用，推动智能体的自主学习和决策能力。

📄 摘要（原文）

Hamilton-Jacobi-Bellman theory implies that the optimal goal-conditioned action depends on the goal only through the gradient of the goal-reaching distance at the current state, yet standard online GCRL still conditions the actor on the raw goal -- a signal that is geometrically uninformative when the goal is far from the data distribution. We propose Direction-Conditioned Policies (DCP), a fully online method that decomposes goal-reaching into two components sharing one InfoNCE representation $ψ$: a subgoal-scoring step that selects a visited state $z_t$ aligned with the final goal $g$ in $ψ_g$, and a direction-conditioned actor that consumes the unit direction $d_t$ and magnitude $r_t$ from $ψ(s_t)$ to $ψ(z_t)$. The two components train jointly, factor cleanly at deployment (subgoal scoring is removed, while direction conditioning remains with $g$ in place of $z_t$), and admit independent modification at the same $(d_t,r_t)$ interface. We prove three results. First, direction sufficiency under HJB: the optimal action under control-affine dynamics depends on the goal only through the value gradient. Second, a quantitative bound showing that, under mild conditions on the learned representation and assuming the scoring rule returns an on-path $z_t$, the actor's conditioning input at training and at deployment coincide up to representation error and geodesic slack. Third, a controllable-subspace characterization of when directional conditioning fails. Across nine environments, DCP improves over Contrastive RL on most final metrics, with the largest gains on manipulation and obstacle-interaction tasks; a qualitative analysis of the learned $ψ$-distance landscape shows the contrastive representation behaves as an online quasimetric encoding environment topology, and the single failure case (AntSoccer) localizes to a learned-gradient pathology that the theory anticipates.