ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models
作者: Mingyang Lyu, Yinqian Sun, Yiyang Jia, Sicheng Shen, Moquan Sha, Huangrui Li, Feifei Zhao, Yi Zeng
分类: cs.RO
发布日期: 2026-06-25
备注: 8 pages, 5 figures, 4 tables. Submitted to IROS 2026
💡 一句话要点
提出ForesightSafety-VLA以解决视觉-语言-动作模型的安全性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 安全性评估 具身智能 多维度分类 风险评估 机器人技术 智能系统
📋 核心要点
- 现有的视觉-语言-动作模型在安全性方面的理解不足，导致其在实际应用中的风险未被充分评估。
- 本文提出ForesightSafety-VLA基准，通过定义安全分类和评估维度，聚焦于VLA系统的安全性评估。
- 实验结果表明，即使是最强的策略也存在显著的安全成本，且结构和视觉变化对安全性的影响大于语言变化。
📝 摘要（中文）
在具身智能领域，安全性是机器人在物理世界中可靠部署的前提。当前的视觉-语言-动作（VLA）模型在通用任务能力上不断进步，但其具身安全性限制仍然不够明确。为此，本文提出ForesightSafety-VLA，一个以安全性为主要评估目标的诊断基准。我们定义了涵盖物理交互安全、指令安全和感知安全的13类安全分类，并在场景结构、语言指令和视觉观察三个控制维度下评估策略，从而使失败源能够被诊断而非隐藏在单一的聚合评分中。ForesightSafety-VLA不仅测量任务成功的二元性，还通过累积安全成本和风险暴露时间来评估过程级风险，结合安全/不安全成功与失败的四象限分解。我们在RoboTwin中实例化了66个安全增强的基础场景，并在代表性的VLA基线模型上报告结果。
🔬 方法详解
问题定义：本文旨在解决当前视觉-语言-动作模型在具身智能应用中的安全性评估不足的问题。现有方法往往只关注任务成功率，未能深入分析安全性风险。
核心思路：ForesightSafety-VLA基准通过引入多维度的安全分类和评估指标，强调安全性作为VLA系统的主要评估目标，帮助识别和诊断潜在的安全隐患。
技术框架：该框架包括三个主要模块：安全分类（物理交互安全、指令安全和感知安全）、评估维度（场景结构、语言指令和视觉观察）以及过程级风险评估（累积安全成本和风险暴露时间）。
关键创新：最重要的创新在于将安全性作为评估的核心，提出了多维度的安全分类和过程级风险评估方法，区别于传统的单一成功率评估。
关键设计：在实验中，定义了66个安全增强的基础场景，采用了累积安全成本和风险暴露时间作为关键评估指标，确保能够全面反映VLA模型的安全性表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在评估的基线模型中，即使是最强的策略也会产生显著的安全成本，且在结构和视觉变化下，安全性降级明显高于语言变化。这表明安全性与感知、基础控制能力紧密相关，而非仅依赖后期的安全过滤。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、智能家居等场景，能够为具身智能系统的安全性提供系统化的评估标准，提升实际部署的安全性和可靠性。未来，ForesightSafety-VLA基准有望推动安全性研究的深入，促进更安全的智能系统开发。
📄 摘要（原文）
In embodied intelligence, safety is a prerequisite for reliable robot deployment in the physical world. Current vision-language-action (VLA) models continue to advance toward general-purpose task capability, yet their embodied safety limits remain poorly understood. To address this gap, we introduce ForesightSafety-VLA, a diagnostic benchmark that makes safety the primary evaluation target for VLA systems. We define a 13-category safety taxonomy covering physical interaction safety (Safe-Core), instruction-side safety (Safe-Lang), and perception-side safety (Safe-Vis), and evaluate policies under three controlled dimensions of variation -- scene structure, language command, and visual observation -- so that failure sources can be diagnosed rather than hidden in a single aggregate score. Beyond binary task success, ForesightSafety-VLA measures process-level risk through cumulative safety cost (CC) and risk exposure time (RET), together with a four-quadrant decomposition of safe/unsafe success and failure. We instantiate 66 safety-augmented base scenarios in RoboTwin across 5 embodiments and report results on representative VLA baselines. Across the evaluated baselines, even the strongest policy incurs non-trivial safety cost and unsafe nominal success, while structure and visual variation induce substantially stronger safety degradation than ordinary language variation. These results suggest that embodied safety is tightly coupled to perception, grounding, and control competence rather than being reducible to post-hoc safety filtering alone.