GSBR: Geometric Support Behavior Regularization for Online RL

📄 arXiv: 2611.05295v1 📥 PDF

作者: Charles Xu, Jacob Berg, Liyiming Ke, Sergey Levine

分类: cs.RO, cs.LG

发布日期: 2026-11-03

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GSBR以解决在线强化学习的样本效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线强化学习 正则化 几何支持 机器人控制 样本效率 策略优化 行为克隆

📋 核心要点

  1. 现有的正则化方法在在线强化学习中存在过于严格的问题，限制了策略的改进。
  2. 本文提出的GSBR通过对动作与基础策略支持的距离进行惩罚，允许演员在高价值模式上集中精力。
  3. 在19个任务的实验中，GSBR将基础策略的成功率从33%提升至95%，表现优于其他方法。

📝 摘要（中文）

在线强化学习（RL）通过对预训练基础策略的正则化可以提高样本效率和学习稳定性，但过于严格的正则化限制了策略的改进空间。现有的正则化方法存在不足，行为克隆正则化会将演员拉向完整的基础策略分布，而硬支持约束则禁止超出基础策略支持的改进。本文提出几何支持行为正则化（GSBR），通过对动作与基础策略支持的距离进行惩罚，允许演员专注于高价值模式。GSBR在四个机器人基准的19个任务中，将基础策略的平均成功率从33%提升至95%，在所有比较方法中实现了最高的平均成功率和吞吐量。

🔬 方法详解

问题定义：本文旨在解决在线强化学习中正则化过于严格的问题，现有方法如行为克隆和硬支持约束限制了策略的改进空间，导致学习效率低下。

核心思路：GSBR通过对动作与基础策略支持的距离进行平滑惩罚，允许演员在支持内无惩罚地探索高价值模式，同时在支持外根据价值与惩罚的权衡进行改进。

技术框架：GSBR的整体架构包括基础策略样本的采集、距离计算模块和惩罚机制。演员在选择动作时，依据与基础策略支持的距离来调整其策略。

关键创新：GSBR的主要创新在于其距离惩罚机制，允许在基础策略支持内自由探索，而在支持外则根据距离平滑增加惩罚，避免了传统方法的严格限制。

关键设计：GSBR通过有限的基础策略样本来估计动作距离，设计了相应的损失函数，使得演员在优化过程中能够有效利用基础策略的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GSBR在四个机器人基准的19个任务中将基础策略的平均成功率从33%提升至95%，并在所有比较方法中实现了最高的平均成功率和吞吐量，较下一最佳RL方法提高了约23%的标准化吞吐量。

🎯 应用场景

GSBR的研究成果在机器人控制、自动驾驶、游戏AI等领域具有广泛的应用潜力。通过提高在线强化学习的样本效率和学习稳定性，GSBR能够加速智能体的训练过程，提升其在复杂环境中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Regularizing online reinforcement learning (RL) toward a pretrained base policy can improve sample efficiency and learning stability, but regularization that is too restrictive limits how much the policy can improve. Base policies -- typically diffusion or flow-matching models trained by imitation learning on large, diverse datasets -- capture many behaviors that are reasonable but suboptimal. Existing regularizers using such base policies are too restrictive in one of two ways: behavioral cloning regularizers pull the actor toward the full base-policy distribution, penalizing it for discarding suboptimal modes, while hard support constraints forbid improvements that lie just outside the base policy's support. We propose Geometric Support Behavior Regularization (GSBR), which penalizes actions by their distance from the base policy's support. Actions within the support incur no penalty, so the actor can concentrate on high-value modes; outside the support, where value estimates are less reliable, the penalty grows smoothly with distance while still permitting improvement when the value gained outweighs the penalty. GSBR estimates this distance from a finite set of base-policy samples, so it requires only sample access to the base policy. Across 19 tasks on four robotic benchmarks, GSBR raises the average success rate from 33% for the base policy to 95%, achieving the highest average success rate and throughput among all compared methods, with about 23% higher normalized throughput than the next-best RL method. Project website and open-source code at https://charlesxu0124.github.io/gsbr/ .