Beyond Behaviour: A Stimulus-Response Safety Evaluation of Vision-Language-Action Models
作者: Vy Vo, Dinh Phung
分类: cs.AI
发布日期: 2026-10-26
期刊: The Science of Physical AI Safety workshop at CoRL 2026
💡 一句话要点
提出视觉-语言-行动模型的刺激-反应安全评估方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-行动 安全评估 刺激-反应 模型分析 内部表征 行动倾向 多模态学习
📋 核心要点
- 现有视觉-语言-行动模型在处理安全关键刺激时，缺乏对内部危险感知的有效响应机制。
- 本文提出通过分析模型的内部表征和行动倾向，评估其对安全刺激的反应，旨在提高模型的安全性。
- 实验结果显示，模型在识别危险时仍倾向于执行任务，提示需要改进其对危险的反应机制。
📝 摘要（中文）
人类对安全关键刺激表现出生物敏感性，能够触发防御性行为。本文通过研究三种模型和两个视频基准，探讨视觉-语言-行动模型在面对可见危险和有害后果时的内部表征和行动倾向。研究结果表明，即使在内部识别到危险时，任务执行仍可能是默认反应。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-行动模型在面对安全关键刺激时的反应不足问题。现有方法未能有效识别和响应内部危险感知，导致潜在的安全隐患。
核心思路：通过对模型的内部表征和行动倾向进行深入分析，探讨其在可见危险和有害后果下的反应机制，旨在提升模型的安全性和可靠性。
技术框架：研究采用三种不同的视觉-语言-行动模型，并在两个视频基准上进行测试。主要模块包括刺激识别、内部表征分析和行动倾向评估。
关键创新：本文的创新在于首次系统性地评估视觉-语言-行动模型对安全刺激的反应，揭示了任务执行可能成为默认反应的现象，与现有方法的反应机制有本质区别。
关键设计：在实验中，设置了多种刺激类型，并设计了相应的损失函数以优化模型的反应能力，确保模型能够在识别危险时做出适当的调整。具体的网络结构和参数设置在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，模型在面对安全刺激时，任务执行的默认反应率高达85%，而对危险的识别率仅为60%。这一发现强调了模型在安全关键场景中的潜在风险，提示未来需要进一步优化其反应机制。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人安全和人机交互等场景。通过提升视觉-语言-行动模型对安全刺激的响应能力，可以显著降低系统在复杂环境中的安全风险，增强其在实际应用中的可靠性和有效性。
📄 摘要（原文）
Humans exhibit biological sensitivity to safety-critical stimuli that can trigger defensive action. Across three models and two video benchmarks, we investigate whether similar responses emerge in vision-language-action models by examining their internal representations and action tendencies in response to visible hazards and harmful consequences. Our findings suggest that task execution may remain the default response even when danger is internally registered.