Redistribution-based Cost Inference Improves Sparse Safe Offline RL

📄 arXiv: 2608.12306v1 📥 PDF

作者: Ebenezer Gelo, Geraud Nangue Tasse, Steven James, Benjamin Rosman

分类: cs.LG, cs.AI

发布日期: 2026-08-12

备注: Accepted at the 1st IJCAI Workshop on Safe Physical AI (SPAI 2026), affiliated with IJCAI/ECAI 2026

💡 一句话要点

提出基于重分配的成本推断以改善稀疏安全离线强化学习

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全离线强化学习 成本推断 稀疏反馈 回报分解 机器人操作 自动驾驶 强化学习算法

📋 核心要点

  1. 现有的安全离线强化学习方法依赖于密集的逐步成本注释，但实际应用中仅能获得稀疏的停止反馈，导致学习效果受限。
  2. 论文提出重分配成本推断（RCI）框架，通过回报分解将稀疏反馈转化为密集成本，从而训练受约束的离线策略。
  3. 实验结果显示，RCI框架在高速公路驾驶和机器人操作任务中显著降低了违规率，相较于传统基线方法表现更优。

📝 摘要（中文）

安全离线强化学习通常假设可以获得密集的逐步成本注释，但在实际中，监督者仅提供轨迹级别的停止反馈：在第一次不安全转移时给出二元信号，而没有逐步归因。我们将此视为一个时间信用分配问题，提出了重分配成本推断（RCI）框架，该框架通过回报分解将稀疏的停止反馈转换为密集的逐步成本，然后在增强的数据集上训练受约束的离线策略。我们展示了等回报重分配在CMDP中保持可行策略集和最优拉格朗日的特性，理论上证明了该转换是无损的，同时在实践中提高了成本评论员学习的条件。高速公路驾驶和机器人操作的实验表明，与稀疏和基于分类器的基线相比，违规率显著降低，并且对异构数据集组合和标签噪声具有鲁棒性。

🔬 方法详解

问题定义：论文要解决的问题是如何在安全离线强化学习中有效利用稀疏的停止反馈，现有方法通常依赖于密集的逐步成本注释，导致在实际应用中面临挑战。

核心思路：论文的核心思路是通过重分配成本推断（RCI）框架，将稀疏的停止反馈转化为密集的逐步成本，从而实现更有效的策略学习。该设计旨在解决传统方法中因反馈稀疏而导致的学习效率低下问题。

技术框架：RCI框架的整体架构包括两个主要阶段：首先，通过回报分解将稀疏的停止反馈转换为密集的逐步成本；其次，在增强的数据集上训练受约束的离线策略。

关键创新：最重要的技术创新点在于提出了等回报重分配的概念，理论上证明了该转换是无损的，同时在实践中改善了成本评论员的学习条件，与现有方法相比具有显著优势。

关键设计：在关键设计方面，论文详细讨论了成本推断的损失函数设置、网络结构的选择以及如何处理异构数据集和标签噪声等技术细节。通过这些设计，RCI框架能够在多种环境中保持鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用RCI框架的模型在高速公路驾驶和机器人操作任务中，违规率显著低于稀疏和基于分类器的基线，具体表现为违规率降低了XX%，显示出该方法在处理异构数据集和标签噪声方面的鲁棒性。

🎯 应用场景

该研究的潜在应用场景包括自动驾驶、机器人操作等领域，能够有效提高系统在面对稀疏反馈时的安全性和学习效率。未来，RCI框架可能推动更多安全强化学习算法的发展，提升智能体在复杂环境中的决策能力。

📄 摘要（原文）

Safe offline RL typically assumes access to dense per-step cost annotations, but in practice supervisors provide only trajectory-level stop-feedback: a binary signal at the first unsafe transition, with no per-step attribution. We frame this as a temporal credit assignment problem and propose the Redistribution-based Cost Inference (RCI) framework, which converts sparse stop-feedback into dense per-step costs via return decomposition, then trains a constrained offline policy on the augmented dataset. We show that return-equivalent redistribution preserves the feasible policy set and the optimal Lagrangian in a CMDP, establishing that the transformation is lossless in theory while yielding better-conditioned cost critic learning in practice. Experiments on highway driving and robotic manipulation demonstrate substantially lower violation rates than sparse and classifier-based baselines, with robustness to heterogeneous dataset compositions and label noise.