Security of Foundation-Model-Powered Embodied Agents: Attack Surfaces, Attacks, Defenses, and Evaluation
作者: Jiawei Liu, Jiacheng Guo, Tian Zhang, Yiwei Xu, Juan Wang, Jinlin Fan, Bowen Xiao
分类: cs.RO
发布日期: 2026-08-17
💡 一句话要点
提出信任边界中心的安全框架以应对基础模型驱动的实体代理安全问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 基础模型 实体代理 安全风险 信任边界 攻击面 防御策略 多模态感知
📋 核心要点
- 现有方法未能有效识别对手进入实体代理控制环的初始点，导致安全风险管理不足。
- 论文提出以信任边界为中心的安全框架，系统性地划分攻击面与机制，增强安全性分析。
- 通过对58个攻击和61个防御记录的分析，发现攻击集中在多模态感知和动作接口，而防御则集中在动作级和运行时保护。
📝 摘要（中文）
基础模型在实体代理中的应用日益广泛，但也带来了从数字输入到物理行为的安全风险。现有研究多通过机制如越狱、提示注入等分类威胁，未能有效识别对手进入控制环的初始点。本文提出了一种以信任边界为中心的安全调查，基于首次被攻破的信任边界原则，将攻击面与攻击机制分开，系统划分为五层和十二个攻击面，涵盖模型供应链、用户指令、上下文与记忆等多个方面。通过对58个攻击记录和61个防御记录的分析，揭示了攻击与防御的集中领域及未被充分探索的领域，最后提出了在状态来源、组合防御等方面的开放挑战。
🔬 方法详解
问题定义：本文旨在解决基础模型驱动的实体代理在安全性方面的挑战，现有方法未能有效识别攻击的初始入口，导致安全风险管理不足。
核心思路：提出以信任边界为中心的安全调查框架，基于首次被攻破的信任边界原则，将攻击面与攻击机制分开，系统化地分析安全风险。
技术框架：整体架构分为五层和十二个攻击面，涵盖模型供应链、用户指令、上下文与记忆、物理语义环境等多个方面，形成一个全面的安全分析体系。
关键创新：最重要的创新点在于将攻击面与攻击机制分开，采用信任边界的视角进行系统性分析，这与现有方法的分类方式有本质区别。
关键设计：在分析中使用了58个攻击记录和61个防御记录，重点关注多模态感知和动作接口的攻击，同时探讨了上下文与长期记忆等领域的不足。通过量化分析，明确了防御的集中领域与未被充分探索的领域。
🖼️ 关键图片
📊 实验亮点
实验结果显示，攻击研究主要集中在多模态感知和动作接口，防御则集中在动作级和运行时保护。通过对58个攻击和61个防御记录的分析，揭示了当前研究的重点和不足之处，为未来的研究方向提供了指导。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶、智能家居等，能够为这些领域的安全性提供系统化的分析框架，帮助开发更安全的实体代理系统。未来可能影响基础模型在实际应用中的安全性评估和防护策略的制定。
📄 摘要（原文）
Foundation models are increasingly used for perception, reasoning, planning, and action generation in embodied agents, creating security risks that can propagate from digital inputs to physical behavior. Existing surveys often organize threats by mechanisms such as jailbreaks, prompt injection, backdoors, poisoning, or adversarial examples, but these categories do not consistently identify where an adversary first enters the embodied control loop. We present a trust-boundary-centric survey of foundation-model-powered embodied-agent security. Using a first-compromised-trust-boundary principle, we separate attack surface from attack mechanism and organize the system into five layers and twelve attack surfaces spanning the model supply chain, user instructions, context and memory, physical semantic environments, multimodal perception, world state, internal reasoning, task planning, action interfaces, middleware, multi-agent communication, and execution control. Based on 58 attack records and 61 defense records collected through August 15, 2026, we analyze representative attacks, cross-layer propagation, defense placement, and evaluation practices. Our quantitative analysis shows that attack research is concentrated on multimodal perception and action interfaces, while defenses are especially concentrated on action-level and runtime protection. Context and long-term memory, middleware and networking, world-state integrity, and multi-agent trust remain comparatively underexplored. We conclude with open challenges in state provenance, compositional defenses, long-horizon attack propagation, physical realizability, Byzantine multi-robot behavior, and unified closed-loop evaluation.