Calibrated Predictive Safety for Heterogeneous Robots: An Action-Conditioned JEPA Framework with Model-Based Safety Shields

📄 arXiv: 2608.17496v1 📥 PDF

作者: Kaiming Zhong, Tianhua Liu, Yue Wang

分类: cs.RO

发布日期: 2026-08-18

备注: 17 pages, 9 figures. Simulation-only empirical results on LIBERO-Long (no real-robot experiments). Source, figure-generation scripts and reproducibility checklist included. Level-3 offline reranking significance test not executed; see Sec. 7 (Scope and honesty statement) for detailed disclosure

💡 一句话要点

提出基于JEPA框架的异构机器人安全预测方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异构机器人 安全预测 JEPA框架 动作条件 模型安全屏障 决策管道 风险评估

📋 核心要点

  1. 现有的视觉-语言-动作策略缺乏执行时的安全保证，而经典的基于模型的规划方法在泛化能力上表现不佳。
  2. 本文提出了一种基于JEPA的递归决策管道，通过结合任务进展和物理风险的预测来提高异构机器人的安全性。
  3. 在600个实验配置中，所提框架在成功率上超过了仅使用安全屏障的基线，并在匹配召回率的情况下减少了碰撞假阴性。

📝 摘要（中文）

本文研究了如何通过一个动作条件的联合嵌入预测架构（JEPA）来预测异构机器人在执行任务时的进展和物理风险。我们提出了一种递归决策管道，包括候选动作生成、JEPA模型的前向滚动、风险和进展评分、以及基于模型的安全屏障过滤不合适的候选动作。实验结果表明，该框架在模拟环境中显著提高了成功率，并减少了碰撞的假阴性率，展示了其在实际部署中的有效性。

🔬 方法详解

问题定义：本文旨在解决异构机器人在执行任务时缺乏安全性和泛化能力的问题。现有方法虽然在特定条件下有效，但在动态环境中难以保证安全执行。

核心思路：提出了一种基于动作条件的JEPA框架，通过预测任务进展和物理风险，结合特定模型的安全屏障，形成一个可部署的安全决策管道。

技术框架：整体架构包括五个主要模块：候选动作生成器、JEPA模型、风险和进展评分模块、安全屏障和后备机制。每个模块在决策过程中发挥关键作用。

关键创新：最重要的创新在于将JEPA模型与基于模型的安全屏障结合，形成了一种新的决策管道，能够在执行前评估风险和进展，从而提高安全性和有效性。

关键设计：在设计中，采用了冻结编码器的潜在空间进行动作预测，使用确定性的安全屏障来过滤不合适的候选，并设计了后备机制以应对无可接受候选的情况。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，所提框架在600个实验配置中成功率显著提高，相较于仅使用安全屏障的基线，碰撞假阴性率显著降低，验证了该方法的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能制造和服务机器人等场景，能够在复杂和动态的环境中提高机器人的安全性和执行效率。未来，该方法有望在实际机器人系统中得到广泛应用，推动智能机器人技术的发展。

📄 摘要（原文）

Vision-language-action policies generalize broadly but provide no execution-time guarantees; classical model-based planners respect kinematic and geometric constraints but generalize poorly. We study whether an action-conditioned Joint-Embedding Predictive Architecture (JEPA) world model can predict, before execution, both task progress and physical risk for candidate action chunks, and whether coupling these predictions to an embodiment-specific model-based safety shield yields a deployable pipeline for heterogeneous robots. We propose a receding-horizon decision pipeline: (1) a proposer produces K candidate action chunks; (2) an action-conditioned JEPA rolls each candidate forward in a frozen-encoder latent space conditioned on an embodiment embedding; (3) calibrated risk and progress heads score each rollout and report uncertainty; (4) a deterministic per-embodiment safety shield filters inadmissible candidates; (5) a fallback ladder handles empty-admissible-set cases. The learned ranking only reorders admissible candidates; enforcement guarantees come from the deterministic shield and fallback ladder. We evaluate with a pre-registered protocol in simulation (LIBERO-Long). In 600-episode configurations the full framework improved success over a shield-only baseline and reduced collision false negatives at matched recall. Deployment-efficiency measurements on target on-robot and edge accelerators are included. Real-robot experiments and an offline reranking significance test remain future work; see the paper for disclosures.