Constrained Decoding for Robotics Foundation Models

📄 arXiv: 2509.01728v3 📥 PDF

作者: Parv Kapoor, Akila Ganlath, Michael Clifford, Changliu Liu, Sebastian Scherer, Eunsuk Kang

分类: cs.RO, cs.LG, cs.LO

发布日期: 2025-09-01 (更新: 2025-09-27)

💡 一句话要点

SafeDec：针对机器人基础模型的约束解码框架，保障动作安全

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人基础模型 约束解码 安全性 信号时序逻辑 推理 机器人控制

📋 核心要点

  1. 现有机器人基础模型依赖数据驱动，缺乏对行为正确性的显式保证，可能导致不安全动作。
  2. SafeDec框架通过在解码阶段施加约束，利用信号时序逻辑（STL）公式确保动作满足安全规范。
  3. 实验表明，SafeDec能有效过滤不安全动作，并支持条件动作生成，提升了机器人系统的安全性。

📝 摘要（中文）

本文提出SafeDec，一个针对自回归机器人基础模型的约束解码框架，旨在解决现有机器人基础模型缺乏行为正确性显式概念的问题。这些模型虽然在通用机器人任务中展现出潜力，但本质上是数据驱动的，容易产生不安全的行为。SafeDec通过在推理时强制执行不变的安全规范，确保生成的动作轨迹满足信号时序逻辑（STL）公式表达的任务特定安全规则，且计算开销极小。该方法无需重新训练即可在运行时验证动作是否满足STL规范，并且与底层策略无关。在CHORES基准测试中，SafeDec在数百个程序生成的环境中，对SPOC、Flare、PoliFormer等先进通用策略进行了评估，结果表明该解码时干预不仅能有效过滤不安全动作，还能用于条件动作生成。

🔬 方法详解

问题定义：现有机器人基础模型虽然强大，但依赖大量数据，缺乏对安全行为的显式建模。这导致模型在实际应用中可能产生违反安全规则的动作序列，带来潜在风险。现有方法难以在不重新训练模型的情况下，保证动作的安全性。

核心思路：SafeDec的核心思路是在推理阶段，通过约束解码过程来保证动作的安全性。具体来说，它利用信号时序逻辑（STL）公式来形式化地描述任务相关的安全规范，并在生成动作序列时，实时检查候选动作是否满足这些规范。如果某个动作违反了安全规范，则将其过滤掉或进行修改，从而确保最终执行的动作序列是安全的。

技术框架：SafeDec框架主要包含以下几个模块：1) STL规范定义模块：用于将任务相关的安全规则表示为STL公式。2) 动作生成模块：利用预训练的机器人基础模型生成候选动作序列。3) 安全验证模块：使用STL公式对候选动作序列进行验证，判断其是否满足安全规范。4) 约束解码模块：根据安全验证的结果，对候选动作序列进行调整，例如过滤掉不安全的动作或修改动作参数，以确保最终生成的动作序列是安全的。

关键创新：SafeDec的关键创新在于它提供了一种无需重新训练即可在推理时保证机器人动作安全性的方法。与传统的安全强化学习方法相比，SafeDec不需要修改底层策略，而是通过约束解码过程来实现安全保证，因此可以很容易地应用于各种预训练的机器人基础模型。此外，SafeDec使用STL公式来形式化地描述安全规范，使得安全规则的定义更加灵活和可扩展。

关键设计：SafeDec的关键设计包括：1) STL公式的选取：STL公式需要能够准确地描述任务相关的安全规则，并且易于验证。2) 安全验证算法的选择：安全验证算法需要能够高效地判断动作序列是否满足STL公式，以保证推理速度。3) 约束解码策略的设计：约束解码策略需要在保证安全性的同时，尽可能地保留原始动作序列的性能，避免过度约束导致任务失败。

📊 实验亮点

SafeDec在CHORES基准测试中，针对SPOC、Flare、PoliFormer等先进通用策略进行了评估，结果表明SafeDec能够显著提高机器人动作的安全性，同时保持较高的任务完成率。实验结果还表明，SafeDec不仅可以用于过滤不安全动作，还可以用于条件动作生成，例如，根据不同的安全需求生成不同的动作序列。

🎯 应用场景

SafeDec可广泛应用于各种需要安全保障的机器人应用场景，例如：自动驾驶、工业机器人、医疗机器人等。通过形式化地定义安全规范，并利用SafeDec在推理时进行安全验证和约束，可以有效降低机器人系统发生事故的风险，提高其可靠性和安全性。该研究对于推动机器人技术在复杂和不确定环境中的应用具有重要意义。

📄 摘要（原文）

Recent advances in the development of robotic foundation models have led to promising end-to-end and general-purpose capabilities in robotic systems. Trained on vast datasets of simulated and real-world trajectories, these models map multimodal observations directly to action sequences for physical execution. Despite promising real-world capabilities, these models are still data-driven and, therefore, lack explicit notions of behavioral correctness. We address this gap by introducing SafeDec, a constrained decoding framework for autoregressive, robot foundation models that enforces invariant safety specifications on candidate action trajectories. Task-specific safety rules are expressed as Signal Temporal Logic (STL) formulas and are enforced at inference time with minimal overhead. Our method ensures that generated actions provably satisfy STL specifications under assumed dynamics at runtime without retraining , while remaining agnostic of the underlying policy. We evaluate SafeDec on tasks from the CHORES benchmark for state-of-the-art generalist policies (e.g., SPOC, Flare, PoliFormer) across hundreds of procedurally generated environments and show that our decoding-time interventions are useful not only for filtering unsafe actions but also for conditional action generation. Videos are available at constrained-robot-fms.github.io.