FailSafe: Reasoning and Recovery from Failures in Vision-Language-Action Models

📄 arXiv: 2510.01642v2 📥 PDF

作者: Zijun Lin, Jiafei Duan, Haoquan Fang, Dieter Fox, Ranjay Krishna, Cheston Tan, Bihan Wen

分类: cs.RO

发布日期: 2025-10-02 (更新: 2025-10-27)

备注: Project Page: https://jimntu.github.io/FailSafe

💡 一句话要点

FailSafe：为视觉-语言-动作模型构建失败推理与恢复系统

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 机器人操作 失败恢复 数据增强 LLaVa 模拟环境 鲁棒性 自动化

📋 核心要点

  1. 现有VLA模型在机器人操作中易失败，缺乏有效的失败恢复机制，阻碍了其在实际场景中的应用。
  2. FailSafe系统自动生成多样化的失败案例和可执行的恢复动作，为VLA模型提供失败学习数据。
  3. FailSafe-VLM显著提升了现有VLA模型在失败场景下的性能，并在不同配置中表现出良好的泛化能力。

📝 摘要（中文）

本文提出FailSafe，一种新颖的失败生成与恢复系统，旨在解决视觉-语言-动作(VLA)模型在机器人操作中遇到的失败问题。FailSafe能够自动生成多样化的失败案例，并提供可执行的恢复动作，可无缝应用于任何模拟器中的操作任务，实现失败动作数据的可扩展创建。为验证其有效性，论文对LLaVa-OneVision-7B (LLaVa-OV-7B)进行微调，构建了FailSafe-VLM。实验结果表明，FailSafe-VLM成功帮助机械臂检测和恢复潜在的失败，在Maniskill的多个任务中，将三种最先进的VLA模型(pi0-FAST, OpenVLA, OpenVLA-OFT)的性能平均提高了高达22.6%。此外，FailSafe-VLM可以推广到不同的空间配置、相机视角、物体和机器人形态。FailSafe代码计划开源。

🔬 方法详解

问题定义：现有视觉-语言-动作(VLA)模型在机器人操作中，尽管通过大规模数据集训练取得了显著进展，但仍然不可避免地会遇到失败。现有的机器人操作数据集主要提供ground-truth轨迹，一旦发生失败，机器人无法恢复。少数关注失败检测的数据集仅提供文本解释，难以直接用于VLA模型。

核心思路：FailSafe的核心思路是自动生成包含失败案例和对应恢复动作的数据集，从而使VLA模型能够学习识别失败并采取适当的恢复措施。通过在模拟环境中引入扰动或错误操作，并设计相应的恢复策略，FailSafe能够创建多样化的失败场景。

技术框架：FailSafe系统包含以下主要模块：1) 失败生成模块：通过随机或预定义的策略，在模拟环境中引入错误操作，导致任务失败。2) 恢复动作生成模块：针对每种失败情况，设计并执行相应的恢复动作，使机器人能够回到正常状态。3) 数据记录模块：记录失败发生时的状态、失败类型以及恢复动作序列，形成失败恢复数据集。该数据集用于训练VLA模型。

关键创新：FailSafe的关键创新在于其自动化的失败生成和恢复动作生成机制。与手动标注失败案例和恢复策略相比，FailSafe能够高效地生成大规模、多样化的失败数据，从而显著提升VLA模型的鲁棒性和泛化能力。此外，FailSafe提供的恢复动作是可执行的，可以直接用于训练VLA模型的动作策略。

关键设计：FailSafe的具体实现依赖于所使用的模拟器和机器人平台。关键设计包括：1) 失败生成策略：例如，随机施加外力、错误抓取、碰撞等。2) 恢复动作设计：例如，重新规划轨迹、调整抓取姿态、避障等。3) 数据集格式：包含失败发生时的图像、文本描述、机器人状态以及恢复动作序列。论文使用LLaVa-OV-7B作为VLM，并使用生成的FailSafe数据集进行微调。

📊 实验亮点

实验结果表明，FailSafe-VLM显著提升了现有VLA模型在失败场景下的性能。具体来说，在Maniskill的多个任务中，FailSafe-VLM将pi0-FAST、OpenVLA和OpenVLA-OFT三种最先进的VLA模型的性能平均提高了高达22.6%。此外，实验还证明了FailSafe-VLM在不同空间配置、相机视角、物体和机器人形态下的泛化能力。

🎯 应用场景

FailSafe技术可广泛应用于各种机器人操作任务，例如物体抓取、装配、导航等。通过提高机器人在复杂和不确定环境中的鲁棒性和可靠性，FailSafe有助于推动机器人技术在工业自动化、家庭服务、医疗保健等领域的应用。未来，FailSafe可以扩展到更复杂的任务和环境，并与其他机器人学习技术相结合，实现更智能、更自主的机器人系统。

📄 摘要（原文）

Recent advances in robotic manipulation have integrated low-level robotic control into Vision-Language Models (VLMs), extending them into Vision-Language-Action (VLA) models. Although state-of-the-art VLAs achieve strong performance in downstream robotic applications, supported by large-scale crowd-sourced robot training data, they still inevitably encounter failures during execution. Enabling robots to reason and recover from unpredictable and abrupt failures remains a critical challenge. Existing robotic manipulation datasets, collected in either simulation or the real world, primarily provide only ground-truth trajectories, leaving robots unable to recover once failures occur. Moreover, the few datasets that address failure detection typically offer only textual explanations, which are difficult to utilize directly in VLA models. To address this gap, we introduce FailSafe, a novel failure generation and recovery system that automatically produces diverse failure cases paired with executable recovery actions. FailSafe can be seamlessly applied to any manipulation task in any simulator, enabling scalable creation of failure action data. To demonstrate its effectiveness, we fine-tune LLaVa-OneVision-7B (LLaVa-OV-7B) to build FailSafe-VLM. Experimental results show that FailSafe-VLM successfully helps robotic arms detect and recover from potential failures, improving the performance of three state-of-the-art VLA models (pi0-FAST, OpenVLA, OpenVLA-OFT) by up to 22.6% on average across several tasks in Maniskill. Furthermore, FailSafe-VLM could generalize across different spatial configurations, camera viewpoints, object and robotic embodiments. We plan to release the FailSafe code to the community.