SegBench-GC: Testing Segmentation Invariance in Multi-Step Offline Goal-Conditioned Reinforcement Learning

📄 arXiv: 2608.27678v1 📥 PDF

作者: Musa Shams

分类: cs.LG

发布日期: 2026-08-27

备注: 10 pages, 2 tables. Code and reproducibility artifacts: https://github.com/MusaShams/SegBench-GC

💡 一句话要点

提出SegBench-GC以解决离线目标条件强化学习中的分段不变性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 目标条件学习 分段不变性 多步学习 实验基准

📋 核心要点

  1. 现有的离线目标条件强化学习方法在处理分段轨迹时存在显著挑战，尤其是如何有效利用分割后的信息。
  2. 本文提出SegBench-GC，通过控制实验条件，研究分段不变性对多步离线GCRL的影响，提供了一种新的评估基准。
  3. 实验结果显示，使用CVT的成功率明显高于简单处理分段的情况，验证了分段处理对学习效果的影响。

📝 摘要（中文）

离线目标条件强化学习（GCRL）通常利用轨迹结构进行未来目标采样和多步目标，但记录的轨迹可能因管理原因而被分割，这些分割并不对应于任务的终止。本文提出了SegBench-GC，这是一个控制的分段不变性压力测试，保持转移、源轨迹、目标采样、优化设置和评估不变，仅变更人工备份边界及其是否保留延续值。通过在PointMaze研究中进行35,000次人工切割，结果显示未切割的成功率为50.5%，而使用延续有效目标（CVT）时为39.1%。

🔬 方法详解

问题定义：本文旨在解决离线目标条件强化学习中，由于轨迹分段导致的学习效果不稳定问题。现有方法在面对分段轨迹时，未能有效利用信息，导致性能下降。

核心思路：提出SegBench-GC作为一种控制实验，保持其他变量不变，仅改变人工备份边界及其延续值，从而研究分段不变性对学习的影响。

技术框架：整体流程包括固定转移和源轨迹，目标采样和优化设置，实验中仅通过调整备份边界进行测试。主要模块包括目标设置、评估机制和结果分析。

关键创新：最重要的创新在于引入了延续有效目标（CVT），它通过标准的延续引导来进行目标引导，而不是采用新的贝尔曼规则，从而提供了一个控制的基准。

关键设计：实验中采用了35,000次人工切割，设置了三种分段实现和三种优化种子，确保结果的可靠性和可重复性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，在PointMaze研究中，未切割的成功率为50.5%，而使用CVT时为39.1%，相比之下，处理相同切割为吸收状态时的成功率仅为19.1%。这些结果显示了分段处理对学习效果的显著影响。

🎯 应用场景

该研究的潜在应用领域包括机器人学习、自动驾驶和游戏AI等，能够帮助提升离线学习系统在面对分段数据时的鲁棒性和性能。未来，SegBench-GC可能成为评估多步离线强化学习算法的重要工具，推动相关领域的研究进展。

📄 摘要（原文）

Offline goal-conditioned reinforcement learning (GCRL) often uses trajectory structure for future-goal sampling and multi-step targets, yet logged trajectories may be partitioned for administrative reasons that do not correspond to termination. We introduce SegBench-GC, a controlled stress test of segmentation invariance that holds transitions, source trajectories, goal sampling, optimization settings, and evaluation fixed while varying only artificial backup boundaries and whether those boundaries retain continuation value. Continuation-valid targets (CVT) provide the segmentation-consistent control: reward accumulation stops at an artificial cut, but the target bootstraps from its stored successor. In a matched-count PointMaze study with 35,000 artificial cuts, three segmentation realizations, and three optimization seeds, final 50-episode-per-task success is 50.5% uncut, 39.1% with CVT, and 19.1% when the same cuts are treated as absorbing; across segmentation realizations, naive mean success ranges from 4.8% to 31.9%. An independent published n-step baseline (n=25) from the Decoupled Q-Chunking codebase shows the same failure on Puzzle-4x5: 47.2% uncut, 58.5% CVT, and 0.27% naive across three optimization seeds. A target-level diagnostic verifies the analytic target difference to numerical precision, and learned-critic diagnostics show a large optimistic shift under naive handling while CVT remains approximately aligned with the uncut critic. CVT applies standard continuation bootstrapping rather than a new Bellman rule; the contribution is the controlled benchmark, failure isolation, and cross-learner evidence that administrative segmentation can materially change multi-step offline GCRL.